我试图在我的数据库作业中传递和获取参数，它是一个spark_python_task类型，它不是一个NOTEBOOK。我在pycharm的dbx上部署了我的工作。我有配置部署内容的deployment.json文件。
浏览 89提问于2021-08-06得票数 1
回答已采纳
1回答
如何在ADF中运行火花作业？
、、、、
我创建了一个带有参数的星火作业，并在Azure中附加了一个交互式集群。我在Azure数据工厂有一个使用笔记本活动的管道。当我创建链接服务时，它指向了我的交互式集群。如何使用ADF使用我在databricks中创建的作业运行管道？谢谢
浏览 3提问于2022-07-08得票数 0
回答已采纳
我试图获得运行id使用databricks runs list在命令行界面上，但没有得到运行的所有作业的运行id的，每天我只得到前20个运行id的，但后来我得到了所有作业的作业id使用databricksjobs list --output json现在我想获得所有作业的运行id使用作业id的。
浏览 22提问于2020-12-26得票数 0
我一直试图在DataBricks中获取RUNID或进程id。我所说的RUNID或process的意思是，每次笔记本运行时都生成一个唯一的id。嗯，我尝试了一些方法，但它们提供的是会话ID，而不是运行ID。
浏览 1提问于2020-01-25得票数 0
回答已采纳
我有一个python笔记本，它根据通过参数提供给笔记本的输入进行聚合。
谢谢。
浏览 4提问于2022-06-17得票数 2
回答已采纳
我试图在DevOps管道中集成Azure，并使用以下URL：
At Azure Databricks，在我的笔记本上创建了一个作业，使用了一个单独的VM和预装的Databricks-CLI，并将它设置为一个自托管池代理准备了一个正在管道中的YAML脚本，它在我的自我托管代理池上调用了上面的databricks作业。我的管道和数据库作业正在成功执行
浏览 3提问于2021-03-19得票数 0
1回答
我正在尝试实现这个(在conf文件中没有变量，而是将其作为命名参数传递)。提到了。在本地模式和python调试器中运行时，我可以轻松地将其传递为：Fundingsobj.launch()
SomeCla
浏览 11提问于2022-09-16得票数 0
回答已采纳
我想在Databricks中使用Jobs API将JVM参数传递给REST请求。有可能做到吗？任何提示都会有所帮助。
将类似-Dconfig-file=app.conf的内容添加到spark作业。
浏览 7提问于2020-02-28得票数 1
我从JobScheduling向Databricks Notebook传递了一个参数，并尝试使用dbutils.widgets.get ()在python Notebook中捕获它。当我运行排定的作业时，我得到由库模块""InputWidgetNotDefined“”抛出的错误“"No Input Widget defined”“
我可以知道原因吗，谢谢。
浏览 5提问于2018-12-04得票数 0
1回答
从企业应用程序( Java或Scala)中按需启动星火作业的推荐方法是什么？有一个处理步骤，目前需要几分钟才能完成。我想使用星火集群将处理减少到15秒以下：
问题1：如何在企业应用程序<em
浏览 4提问于2016-08-06得票数 2
回答已采纳
它是内部数据分析的一个很好的工具。我正在寻找更多的功能，以分享报告与客户。我需要向客户发送每周/每月/季度报告。寻找一种自动化这个过程的方法。
浏览 3提问于2017-12-04得票数 4
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
在每个笔记本中更改SparkSession.builder.appName：不起作用，因为在集群启动后不可能更改它默认情况
浏览 2提问于2021-11-23得票数 1
回答已采纳
将Databricks笔记本作为作业运行时，可以指定可在该笔记本的代码中使用的作业或运行参数。然而，从文档中并不清楚您实际是如何获取它们的。我希望能够获得所有的参数以及作业id和运行id。
浏览 2提问于2020-07-22得票数 5
我有一个通用的胶水作业，它将执行基于文件名的登陆s3桶。所以现在我们正在创建一个基于事件的触发器，它将执行一个工作流。(事件发生在s3中的文件域)。是否有任何方法获取文件细节，如文件名或s3 uri，然后将此信息作为参数传递给工作流。
浏览 4提问于2022-06-30得票数 0
因此，我目前正在尝试为我的Databricks开发环境设置秘密。我已经使用Databricks-cli成功地设置了它们。我现在正尝试在我的spark jar (用scala编写)中使用它们。但是，我找不到dbutils位于哪个包中。. = dbutils.secrets.get(scope = "SCOPE", key = "VARIABLE") 这是我正在尝试实现的用例，如果有任何帮助，我将不胜感激！
浏览 43提问于2019-02-07得票数 0
我想用YAML文件做我的蓝色数据库笔记本电脑的CICD。我遵循了下面的流程
低于误差
##errorError:无法找到可执行文
浏览 19提问于2022-02-11得票数 1
我从带有一些参数的父笔记本中调用了一个子笔记本。com.databricks.common.client.DatabricksService
浏览 3提问于2020-10-07得票数 1
回答已采纳
1回答
我目前正在命令行中传递spring批处理作业参数中的文件名，并运行我的作业，spring批处理作业将查找文件并读取、处理和写入文件。我当前在阅读器中读取作业参数文件名，如何在处理器和写入器中使用相同的作业参数文件名。
浏览 12提问于2020-06-22得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
