我正在使用Java API编写我的第一个Spark作业。 我想用笔记本来运行它。 我在调查齐柏林飞艇和朱庇特。 在齐柏林飞艇文档中，我看到了对Scala、IPySpark和SparkR的支持。我不清楚使用两个解释器%spark.sql %java是否允许我使用Spark SQL的Java API Jupyter有"IJava“内核，但我看不到Java对Spark的支持。 还有其他选择吗？
浏览 10提问于2021-04-05得票数 0
2回答
作业和交互式集群的设置相同，如下所示：
有什么问题吗？recent call last) 1 #Run CDMMedications 137
/da
浏览 1提问于2019-08-16得票数 3
回答已采纳
DatabricksRunNowOperator( databricks_conn_id='databricks_default', spark_submit_params
浏览 6提问于2022-08-10得票数 2
1回答
我正在运行一个Spark作业(从Spark notebook)，使用带有选项的动态分配"spark.shuffle.service.enabled如果我取消正在运行的作业/应用程序(通过按下notebook中单元上的cancel -按钮，或者通过关闭notebook服务器和应用程序)，并在短时间(几分钟)后重新启
浏览 14提问于2016-08-31得票数 1
我最近尝试在Hue UI中设置Spark Notebook。我在VirtualBox中运行Cloudera CDH 5.8。Spark notebook在Livy服务器上工作，我安装了livy服务器。我还从Hue.ini文件的黑名单中删除了spark。但是，我仍然不能在Hue UI中得到Spark Notebook。
更新:现在我可以访问笔记本了。但是，我不能向集群提交spark作业。.....Thanks to Romainr，我可
浏览 11提问于2016-08-10得票数 0
我无法查看通过Azure数据工厂中的notebook活动执行的databricks作业的spark-ui。
浏览 5提问于2021-11-10得票数 0
我正在本地计算机上运行ipython notebook，并希望创建到远程Spark服务器i.p的连接。然后从remote server上存在的hdfs文件夹中读取数据。如何从本地ipython notebook创建到Spark服务器的远程连接
浏览 3提问于2015-11-24得票数 6
1回答
我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。有没有办法在azure databricks作业上实现devops过程，以便DEV中的任何作业中的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的作业。首先，我想知道是否有可能在azure databricks作业上实现devops。
感谢任何线索！
浏览 3提问于2020-11-27得票数 2
name: my-notebook-deployment app: my-notebook replicas: 1 matchLabels: template: labels: spec::---
apiV
浏览 4提问于2020-10-19得票数 0
回答已采纳
2回答
Databricks是否支持提交类似于Google Cloud Dataproc的SparkSQL作业？ Databricks job API似乎没有用于提交Spark SQL作业的选项。
浏览 41提问于2020-07-01得票数 0
2回答
notebook_task = { 'base_parameters': {"token": token} 和这里定义的运算符 opr_submit_run = DatabricksSubmitRunOperator(
task_id='run_notebookexisting_clus
浏览 42提问于2021-07-13得票数 2
回答已采纳
{StructField, StructType}import java.text.SimpleDateFormatimport spark.implicits._
...
} 在同一个笔记本上一切运行正常，但一旦我尝试创建可以在其他笔记本中使用的包，我就会遇到错误： <notebook>:11: error: not found: o
浏览 16提问于2019-05-24得票数 0
回答已采纳
1回答
然后，我运行命令将my_notebook映像设置为: docker my_notebook。然后我制作了三个容器master: command: bin/spark-class org.apache.spark.deploy.master.Master/data:/tmp/datanotebook:
浏览 1提问于2019-01-22得票数 1
回答已采纳
我让notebook1在cluster1上运行，我使用下面的命令从notebook1运行notebook2但是这将在cluster1
浏览 22提问于2022-02-07得票数 2
我已经编写了一个Azure Databricks scala笔记本(基于JAR库)，并且我每小时使用Databricks作业来运行它。在代码中，我使用Application Insights Java SDK进行日志跟踪，并初始化一个标记"RunId“的GUID。."); val properties = new java.util.HashMap[String, String]()tracer.trackEvent(nam
浏览 2提问于2018-08-06得票数 0
回答已采纳
2回答
我定义了一个顶级函数，它允许用户创建一个指向Kubernetes master URL的SparkSession，并将他们的pod设置为Spark driver。这一切都很好，但我希望最终用户能够访问Spark Web UI的URL，以便他们可以跟踪他们的作业。servicePort: app-svc-port
浏览 44提问于2019-05-30得票数 2
1回答
我有一个长期运行的作业，如果满足某些条件，我会终止该作业。这通常是在python中完成的，如下所示： exit('job failed!)如何编写Databricks python脚本，以便在满足特定条件时自动停止执行？
浏览 21提问于2018-09-05得票数 4
回答已采纳
我正尝试在AWS提供的jupyter笔记本电脑中使用spark / python读取kinesis流。我从AWS文档中获取了代码，但当我尝试使用kinesis创建数据帧时，我得到了一个依赖错误。KinesisUtils, InitialPositionInStream
glueContext = GlueContext(sc)job = Job(glueContext)
#ssc = Stre
浏览 10提问于2021-07-20得票数 0
我只是想更多地了解Spark。所以我想问这个问题。我连接了一个运行Pyspark的Jupyter笔记本。所以，现在当我在笔记本中进行任何编码时，比如读取数据并将数据转换为Spark DataFrame，我想检查一下：
1)。其中所有数据集都分布在本地机器上。使用没有spark的Jupyter notebook运行代码和计算与使用Pyspark运行Jupyter notebook是不同的？像第一个一样，只使用机器的一个
浏览 0提问于2016-08-13得票数 0
2回答
我试图调用我在notebook1中创建的一个notebook1，以便在数据库社区添加的notebook2中使用它，并且我尝试了这个代码dbutils.notebook.run("notebook1",py4j.Py4JException:方法_run(类java.lang.String，类java.lang.Integer，类java.util.HashSet，null，类java.lang.String
浏览 9提问于2022-08-08得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
