如何在databricks作业中传递和获取传递的参数
在Databricks作业中，可以通过多种方式传递和获取传递的参数。以下是一些常用的方法：
- 使用命令行参数：可以在Databricks作业的命令行中指定参数。在作业设置中，可以将参数添加到"命令行参数"字段中。在作业运行时，这些参数将被传递给作业脚本，可以在脚本中通过解析命令行参数来获取传递的值。
- 使用环境变量：可以在Databricks作业的环境变量中设置参数。在作业设置中，可以将参数添加到"环境变量"字段中。在作业运行时，这些环境变量将被传递给作业脚本，可以在脚本中通过读取环境变量来获取传递的值。
- 使用Databricks配置：可以在Databricks集群的配置中设置参数。在集群设置中，可以将参数添加到"Spark配置"字段中。在作业运行时，这些配置将被传递给作业脚本，可以在脚本中通过读取Spark配置来获取传递的值。
- 使用Databricks表：可以在Databricks中创建一个表，将参数存储在表中。在作业运行时，可以通过查询该表来获取传递的值。
- 使用Databricks参数：可以在Databricks作业设置中定义参数。在作业运行时，可以通过引用这些参数来获取传递的值。
无论使用哪种方法，都可以根据具体的需求和场景选择最合适的方式来传递和获取传递的参数。
腾讯云相关产品和产品介绍链接地址：
- 腾讯云Databricks产品介绍：https://cloud.tencent.com/product/dbt
- 腾讯云云服务器CVM产品介绍：https://cloud.tencent.com/product/cvm
- 腾讯云云数据库MySQL产品介绍：https://cloud.tencent.com/product/cdb_mysql
- 腾讯云云原生容器服务TKE产品介绍：https://cloud.tencent.com/product/tke
- 腾讯云人工智能AI产品介绍：https://cloud.tencent.com/product/ai
相关·内容
将Databricks笔记本作为作业运行时，可以指定可在该笔记本的代码中使用的作业或运行参数。然而，从文档中并不清楚您实际是如何获取它们的。我希望能够获得所有的参数以及作业id和运行id。
浏览 2提问于2020-07-22得票数 5
我正在尝试创建一个DAG，它使用DatabricksRunNowOperator来运行火花放电。然而，我无法弄清楚我如何能够访问吡火花脚本中的气流配置。
parity_check_run = DatabricksRunNowOperator(
task_id='my_task',
databricks_conn_id='databricks_default',
job_id='1837',
spark_submit_params=["file.py", "pre-defined-param&
浏览 6提问于2022-08-10得票数 2
我试图在DevOps管道中集成Azure，并使用以下URL：
At Azure Databricks，在我的笔记本上创建了一个作业，使用了一个单独的VM和预装的Databricks-CLI，并将它设置为一个自托管池代理准备了一个正在管道中的YAML脚本，它在我的自我托管代理池上调用了上面的databricks作业。
我的管道和数据库作业正在成功执行。
但是我想提取笔记本电脑在pepeline中产生的输出，并在控制台上打印。通过这种方式，任何人都可以通过传递参数并在控制台屏幕上查看结果来触发管道。笔记本电脑主要以表数据的形式返回输出(例如从表中选择*)。
有人能帮我做这个吗。
浏览 3提问于2021-03-19得票数 0
我有一个码头文件
下载Databricks CLI
通过添加主机和令牌来配置CLI
然后运行一个命中Databricks令牌的python文件
我能够在docker映像中安装CLI，并且我有一个工作的python文件，它可以将作业提交到Databricks API，但我不知道如何在docker中配置我的CLI。
这是我有的东西
FROM python
MAINTAINER nope
# Creating Application Source Code Directory
RUN mkdir -p /src
# Setting Home Directory for con
浏览 9提问于2020-10-21得票数 3
在databricks中，我希望运行以下scala命令
scala [-cp scalatest-<version>.jar:...] org.scalatest.tools.Runner [arguments]
这可以在scala笔记本中运行，还是作为作业运行？
我尝试过从笔记本中运行这个命令的各种方法，但都没有成功。我不确定这是否可能，或者我是否需要用这样的方式来构建系统税。
scalatest_2.12__3.0.8.jar包含在databricks运行时中
浏览 1提问于2022-09-23得票数 0
回答已采纳
2回答
在DevOps中有一个管道，通过命令触发数据库作业
databricks jobs run-now --job-id 246
输出
{
"run_id": 1010,
"number_in_job": 101022
}
由于作业被触发，代理开始执行管道中的下一个任务，而且数据库作业尚未完成，在这里，我想等到databricks作业在databricks中完成，然后转移到下一个任务
浏览 1提问于2022-08-09得票数 1
1回答
我正在尝试在Azure Databricks上实现DevOps。
我已经完成了databricks、notebooks和dbfs文件的devops实现。
我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。
有没有办法在azure databricks作业上实现devops过程，以便DEV中的任何作业中的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的作业。
首先，我想知道是否有可能在azure databricks作业上实现devops。
感谢任何线索！
浏览 3提问于2020-11-27得票数 2
我试图获得运行id使用databricks runs list在命令行界面上，但没有得到运行的所有作业的运行id的，每天我只得到前20个运行id的，但后来我得到了所有作业的作业id使用databricks jobs list --output json现在我想获得所有作业的运行id使用作业id的。
浏览 22提问于2020-12-26得票数 0
1回答
如何在ADF中运行火花作业？
、、、、
我创建了一个带有参数的星火作业，并在Azure中附加了一个交互式集群。我在Azure数据工厂有一个使用笔记本活动的管道。当我创建链接服务时，它指向了我的交互式集群。如何使用ADF使用我在databricks中创建的作业运行管道？谢谢
浏览 3提问于2022-07-08得票数 0
回答已采纳
我在Azure管道脚本中寻找正确的语法来实现以下目标。我有下面的代码，但不正确。
总体上:只有在没有以作业名称运行Databricks作业的情况下，才可以将鸡蛋文件复制到Databricks，否则，在5分钟后等待并重试以检查状态。3次重试后退出。
Step1:获取与特定作业名称匹配的Databricks作业状态列表
Step2:检查“运行”是否是步骤1中的状态之一
如果是，第一次尝试:等待5分钟，然后返回到步骤1如果是，第四次尝试:退出与错误如果不是，复制代码并退出
- script: |
cd $(Pipeline.Workspace)
r
浏览 3提问于2021-07-23得票数 0
1回答
我有jar和一个相关的属性文件。为了运行jar，这是我在Azure上对Databricks所做的： 我点击： +Create Job
Task: com.xxx.sparkmex.core.ModelExecution in my.jar - Edit / Upload JAR / Remove
Parameters: Edit
Main Class: com.xxx.sparkmex.core.ModelExecution
Arguments: ["-file","/dbfs/mnt/mypath/myP
浏览 21提问于2019-09-05得票数 2
回答已采纳
我在databricks中安排了几个作业，其中我感兴趣的是读取两个特定作业的统计数据。我需要编写一个databricks notebook代码来将作业统计数据(jobName、startTime、endTime和status)写入雪花表。
浏览 37提问于2021-10-20得票数 1
2回答
我有一个从Airflow DAG调用的Databricks PySpark笔记本。我通过转到Admin - Variables在Airflow中创建了一个变量，并添加了一个键-值对。 我找不到在Databricks中使用该气流变量的方法。 编辑以添加我的代码示例。 notebook_task = {
'notebook_path': '/Users/email@exaple.com/myDAG',
'base_parameters': {
"token": token
}
} 和这里定义的
浏览 42提问于2021-07-13得票数 2
回答已采纳
2回答
我正在使用星火在Azure数据库5.5。我通过Databricks工作区UI通过乔布斯、笔记本和火花提交提交火花作业。作业正在成功提交，Databricks正在生成新的集群或使用现有的集群。但是，默认情况下，在executor节点上运行作业的用户是根。是否有可能更改在Azure Databricks上运行作业的用户(这本质上不允许SSH访问)？
通常，当我在具有Shell访问权限的集群上使用星火提交CLI时，我使用sudo：sudo -u exampleuser spark-submit...更改用户。在这个例子中，用户'exampleuser‘出现在集群的所有节点上。因此，我想知道是
浏览 0提问于2019-09-17得票数 2
回答已采纳
是否可以更改运行上火花作业的用户/电子邮件？
我遵循以下步骤：
在Azure AD中创建了两个用户财务，人力资源。
创建了databricks服务并创建了集群、笔记本和作业。
使用Azure databricks SCIM企业级应用将上面的用户同步到Databricks中，以便上面的用户可以在工作区中使用。
为像devanand.dhage_gmail.com#ext#@这样的用户保留权限..。作为所有者和融资人@..。可以管理运行。
我运行了我的web，并调用/ api /2.1/作业/run-现在使用financeuser@.代币。
我希望在作业运行下的Data
浏览 3提问于2022-06-28得票数 2
回答已采纳
我正在尝试创建一个服务，查找特定databricks工作区的所有火花作业日志。假设我已经在databricks工作空间中部署了两个星火流作业--我希望通过任何API或像kafka/eventhubs这样的消息队列获取这两个作业的日志。
这样，我就可以订阅那些流日志，并实时地采取一些基于事件的操作。
在Databricks工作区中是否有任何API可以提供每个火花作业的日志，或者我们可以在事件中心上获得那些星火应用程序的自定义日志？
浏览 5提问于2022-09-19得票数 1
我希望有一个监控和警报系统(使用Datadog这样的工具)，它可以从我在Databricks中的Spark应用程序中获取度量和日志。问题是，由于不需要每天旋转、运行和杀死数百甚至数千个作业集群，所以最好将现有的集群重新用于类似的数据抽取工作。
为了从Datadog中的Databricks和Spark获取度量标准，我尝试了以下方法：
在每个笔记本中更改SparkSession.builder.appName：不起作用，因为在集群启动后不可能更改它。默认情况下，它总是"Databricks Shell“
设置一个集群范围的标记，并在作业结束后取消它，当并发发生时，->会导致标
浏览 2提问于2021-11-23得票数 1
回答已采纳
我在Azure Data中创建了一个管道。我创建了Databricks工作区、笔记本(带有一些代码)和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有的灯都是绿色的。我发布了ADF管道。
当我触发这份工作时，它说的是成功。但是在Databricks中什么也没有发生。DB中没有创建任何作业。笔记本单元中的代码显然没有执行。(我之所以知道这一点，是因为代码会打印当前时间。)
有人成功了吗？
为了明确起见，我希望Databricks使用Databricks中现有的集群，而不是创建一个新的集群。我已经在管道安装参数中命名了集群。
浏览 2提问于2019-05-07得票数 1
回答已采纳
2回答
我正在建立一个作为码头集装箱形象的开发环境。这将使我和我的同事们能够使用它作为一个解释器环境快速地启动和运行。我们的工作流程是在本地开发代码，并在连接到各种数据源的Azure Databricks集群上执行代码。为此，我正在研究如何使用。
我遇到了databricks的配置--连接显然仅仅是一个交互过程。这导致每次运行Docker容器映像时都必须运行databricks-connect configure并提供各种配置值，这可能会造成麻烦。
是否有一种以非交互方式配置databricks-connect的方法？，这将允许我在开发环境中包含配置过程，Dockerfile和开发人员只需要在(重新)
浏览 6提问于2021-12-24得票数 1
回答已采纳
我在databricks中创建了一个笔记本，我想从AWS Lambda按需运行这个工作。也就是说，当一个文件到达我的S3桶时，我想为了我的ETL目的运行databricks笔记本作业。
databricks集群的autotermination_minutes参数设置为60分钟。有时我的工作不运行，因为集群在空闲60分钟时自动终止。在运行作业之前，我可以从AWS重新启动集群吗？
谢谢
浏览 0提问于2018-08-10得票数 0
回答已采纳
1回答
对于如何通过api在databricks中标记作业集群，我有疑问。
我知道我已经可以标记集群和作业，但是我想标记集群作业的集群，这有可能吗？
我尝试使用“作业/更新”端点在作业集群中插入标记，甚至插入这些字段--它仍然得到相同的错误：
请求示例：
curl --location --request POST 'https://databricks.com/api/2.0/jobs/update' \
--header 'Authorization: Bearer token' \
--header 'Content-Type: application/j
浏览 3提问于2022-05-10得票数 1
回答已采纳
我已经在本地配置了Databricks cli，并且能够连接到Azure Databricks集群。用于我的工作站- 的链接参考
在下面的命令中，使用id成功地列出作业
$ databricks jobs list --profile dev
如果我只想将计划(cron表达式)更新到一个已经部署在工作区中的特定作业，那么我看不到使用databricks CLI进行此操作的任何选项。
注意:在我的示例中，作业是使用作业定义json创建的，用于创建集群中的作业。这个json一开始没有时间表信息。
在工作空间中创建或部署作业之后，是否有任何选项可用于只更新计划？
有一个选项可以立即运行命
浏览 34提问于2021-12-13得票数 2
回答已采纳
我正在编写一个需要在本地以及Databricks上运行的星火作业。
在每个环境(文件路径)中，代码必须略有不同，因此我试图找到一种方法来检测作业是否在Databricks中运行。到目前为止，我发现最好的方法是在根目录dir中查找一个"dbfs“目录，如果它在那里，那么假设它在Databricks上运行。这感觉不是正确的解决办法。有人有更好的主意吗？
浏览 0提问于2018-07-13得票数 16
回答已采纳
我正在寻找一些选项，或者使用databricks cli或Databricks notebook代码来获取作业执行的列表。
使用databricks job get --job-id <job_id> --profile=dbspace-1，列出作业的元数据信息，而不是运行的历史信息。
例如，我试图获取作业执行列表(引用快照)并列出失败状态。因为我不知道基于状态进行筛选的选项，所以在工作空间UI中使用状态。
浏览 26提问于2022-07-20得票数 0
回答已采纳
有没有一种方法可以列出databricks中一个工作区中的所有笔记本和作业，并将它们加载到DBFS中的托管表中？ 我在下面的链接中找到了一个函数代码 https://kb.databricks.com/python/list-all-workspace-objects.html 但是，这不会给出作业列表。还主要需要将结果集存储到dataframe中，以便我们可以将dataframe存储在表中。
浏览 17提问于2021-11-09得票数 1
1回答
按照此链接设置Databricks和Log：
我的问题是，这需要重新构建集群/工作区还是重新启动？
理想情况下，重新启动更好，因为我们使用Databricks URL运行作业。
感谢您提供的任何帮助。
浏览 4提问于2022-06-27得票数 0
回答已采纳
我正在尝试使用Perl6运行一系列shell命令到变量$cmd，如下所示
databricks jobs run-now --job-id 35 --notebook-params '{"directory": "s3://bucket", "output": "s3://bucket/extension", "sampleID_to_canonical_id_map": "s3://somefile.csv"}'
在notebook-params之后将命令拆分为所有内容
浏览 0提问于2019-01-24得票数 6
回答已采纳
我正在使用Databricks Resi API在现有集群中使用notebook_task创建作业，并获取job_id。然后调用run-now api来触发作业。在这一步中，我想通过notebook_params发送一个list作为参数，它抛出一个错误，说“字段值需要非数组”。
有没有什么方法可以将列表作为参数发送到作业？
我也尝试过在base_params中发送列表参数，但出现了相同的错误。
user_json={
"name": job_name,
浏览 3提问于2019-06-07得票数 1
我希望实现Azure链接服务的可配置性，从而在运行时传递Databricks WorkspaceURL和ClusterID。我将拥有多个星体集群，并根据集群的大小调用集群的类型/大小。
我没有找到从ADF管道中获取DataBricks ClusterID和钝化的选项。
浏览 7提问于2022-10-26得票数 0
回答已采纳
我有一个带有Databricks活动的ADF管道。
该活动每次创建一个新的作业集群，我已经将所有所需的星火配置添加到相应的链接服务中。
现在，由于Databricks提供了Spot实例，我希望在Databricks中创建具有Spot配置的新集群。
我试图从文档中找到帮助，但没有运气！
我如何使用ADF来完成这个任务？
干杯！
浏览 7提问于2021-05-05得票数 2
回答已采纳
在现有的azure databricks工作区中，有没有一种编程的方式来获取集群，作业，spark & scala运行时版本，安装的库，其他工件等的总数？
浏览 11提问于2021-08-26得票数 1
1回答
我有一个Azure数据工厂管道，叫做Databricks笔记本。我已经参数化了管道，通过这个管道，我将产品名称传递给databricks笔记本。
根据参数，Databricks将将处理过的数据推入特定的ADLS目录。现在的问题是-如何让我的管道知道哪个参数需要传递给Databricks。
示例:如果我通过adf将 Nike 传递给数据库，那么我的数据就会被推入Nike目录，或者如果我通过 Adidas ，数据就会被推入阿迪达斯目录。
请注意，我正在从自动化帐户触发ADF。
浏览 4提问于2020-07-09得票数 0
我对Databricks还是个新手，所以请原谅我在这里缺乏知识。我正在使用Azure中的Databricks资源。我现在主要使用UI，但我知道一些功能只能使用databricks-cli，我已经设置了它，但还没有使用它。
我已经使用UI在Databricks Repos中克隆了我的Git存储库。在我的存储库中，有一个Python文件，我希望将其作为作业运行。
是否可以使用Databricks Jobs创建直接调用此Python文件的作业？我能够做到这一点的唯一方法是创建另一个Python文件并将其上传到dbfs，该文件将调用我的Databricks Repo中的文件。
也许它做不到，或者我使用
浏览 47提问于2021-11-24得票数 1
我在databricks中有一个笔记本，我将其放入作业中，以便每天在特定时间运行，并且我还从该笔记本创建了仪表板，如何在每次作业运行时自动导出仪表板结果？我知道Jobs API，但我找不到正确的命令来执行此操作。现在，我使用python包databricks-api (https://pypi.org/project/databricks-api/)连接到databricks。我的最终目标是自动化运行notebook的过程，创建仪表板，然后保存结果。
浏览 12提问于2019-09-24得票数 4
1回答
如何在azure blob存储中配置火花作业检查点？
我在Databricks中添加了检查点，但在azure Kubernetes集群中没有添加检查点，您能帮我克服这个问题吗？
浏览 4提问于2022-10-07得票数 0
我创建了一个带有Notebook活动的ADF管道。此笔记本活动会自动创建具有自动生成的职务集群名称的databricks作业集群。
1.在运行时从ADF重命名作业群集
我试图在运行时从ADF/ADF链接服务中用进程/其他名称重命名这个作业集群名。
我希望用<process_name>_代替作业-59。
2.重命名ClusterName标记
希望将默认生成的ClusterName标记替换为所需的进程名。
浏览 4提问于2021-08-19得票数 0
我需要用最终用户设置的各种管道参数从PowerApps或PowerAutomate启动ADF管道，然后将其发送到databricks笔记本中。使用，我能够成功地从我的PowerApp中启动管道，但还不清楚如何从该文档或我所读过的各种博客中发送管道参数。
在一段时间前遇到这种情况后，我最终通过作业Rest直接调用Databricks，但最终只为已经在Databricks中访问的用户工作。所以我又回到了添加ADF作为中间层的尝试。我肯定在某个地方遗漏了什么，因为这显然是一个常见的用例。
浏览 4提问于2022-04-03得票数 0
回答已采纳
2回答
我正在使用Azure databricks中的spark解析Azure blob存储中的文件。blob被挂载为dbfs。现在，我在笔记本中使用硬编码文件名(dbfs文件名)来做这件事。但是，每当创建新的blob时，我都想用新的dbfs名称触发notebook。我使用Azure函数检查了一下，我可以得到一个blob触发器。我是否可以从Azure functions启动databricks笔记本/作业？对blob的操作需要相当长的时间。在这种情况下，建议使用azure函数吗？或者有其他方法来实现这一点。
浏览 15提问于2021-05-19得票数 1
1回答
我有一个长期运行的作业，如果满足某些条件，我会终止该作业。这通常是在python中完成的，如下所示：
if some_condition:
exit('job failed!)
这适用于python脚本的传统命令行运行。然而，出于我无法理解的原因，Databricks并没有用exit杀死脚本。
如何编写Databricks python脚本，以便在满足特定条件时自动停止执行？
浏览 21提问于2018-09-05得票数 4
回答已采纳
1回答
我正在使用集群在databricks中运行一个生产作业。在环境初始化期间，我创建了一个笔记本，它将包含大量打印语句，导致作业集群超出输出大小，作业失败。
我已尝试配置此参数。
spark.databricks.driver.disableScalaOutput true
似乎上述参数不起作用。我们还有别的办法可以解决这个问题吗。
浏览 13提问于2022-09-13得票数 0
1回答
Databricks仅在UI或API中提供集群级别日志。有没有办法在databricks中配置spark或log4j，这样我们就可以得到运行/作业级日志？
浏览 24提问于2020-07-15得票数 2
1回答
使用build (setuptools)将我的python代码打包为.egg格式。我想用蓝色的数据砖来完成这个包。
我可以通过以下命令在本地机器上执行包。
spark-submit --py-files ./dist/hello-1.0-py3.6.egg hello/pi.py
1)将包复制到DBFS路径中，如下所示：
work-space -> User -> Create -> Library -> Library Source (DBFS) -> Library Type (Python Egg) -> Uploaded
2)在新的集群模式下创建一
浏览 0提问于2019-05-31得票数 1
回答已采纳
我想要在一个正在运行的Spark作业中获取集群链接(或手动组成链接的集群ID )。 这将用于打印警报消息中的链接，使工程师更容易访问日志。 在Databricks中运行的Spark作业有可能实现这一点吗？
浏览 35提问于2021-06-30得票数 3
回答已采纳
我正在使用databricks rest来运行火花作业。我在使用那些愚蠢的命令：
curl -X POST -H "Authorization: XXXX" 'url/api/2.0/jobs/create' -d ' {"name":"jobname","existing_cluster_id":"0725-095337-jello70","libraries": [{"jar": "dbfs:/mnt/pathjar/name-9edeec0f.j
浏览 0提问于2019-08-02得票数 1
我正在尝试获取与Databricks作业相关的所有参数，并将它们导入到python中。这些参数应包括作业的日期、开始时间、持续时间、状态(成功或失败)以及与其相关的所有其他参数。
我希望使用这些参数通过python生成每日报告，该报告必须包含一周内每天成功或失败的所有作业的详细信息。
浏览 3提问于2021-10-21得票数 1
我通过创建了一个星星团。我希望能够从databricks中使用csv库(请参阅)。所以我第一次测试是这样的：
我使用集群的主节点启动了ssh会话，然后输入：
pyspark --packages com.databricks:spark-csv_2.11:1.2.0
然后它启动了一个火花放电外壳，我在其中输入：
df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('gs:/xxxx/f
浏览 1提问于2015-10-27得票数 6
回答已采纳
我需要在python中开发一个应用程序。python应用程序将与任何数据库交互，并对其执行sql语句。它还可以与databricks实例进行交互，并查询Databricks中的表。
要求python应用程序应该是独立于平台的。因此，应用程序是以这样的方式开发的，如果它在databricks上运行，只有这样，它才会触发应用程序中特定于火花的代码。如果它在独立节点上运行，则跳过。python程序与Azure blob存储器交互，以访问一些文件/文件夹。python应用程序作为一个轮子部署在独立的Node/Databricks上。
这里的问题是定制日志记录。我已经在python应用程序中实现了自定义
浏览 7提问于2022-09-21得票数 0
如果Azure DevOps要部署，如果在databricks上有正在运行的作业(例如，它是一个流作业)，那么当前正在运行的作业仍在运行还是停止？它还会使用旧库还是新库？新代码什么时候取出来？
类似于ADF部署，部署将如何影响正在运行的管道？
浏览 5提问于2022-02-21得票数 0
1回答
我在ADF中使用get元数据阶段来获取子值(文件名)和文件类型。我需要使用databricks笔记本来匹配文件名。数据库中ADF中Get元数据阶段的输出如何与字符串文件名部分匹配？
浏览 8提问于2022-07-12得票数 0
我正在尝试使用Linux服务器上的bash脚本中的notebook参数运行Databricks作业。我正在按照docs的说明进行操作，并且我已经验证了这些命令在终端中是否正常工作。 下面是我的脚本： #!/bin/bash
### this commands works in terminal but not when running script
databricks jobs run-now --job-id 1 --notebook-params '{"param1":"value1"}'
### this command works
浏览 23提问于2019-05-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
