对于某些功能，我需要将databricks notebook的逻辑与大型集群的逻辑和本地机器的逻辑分开。那么有没有办法检查一下，如果R在databricks notebook上运行。
浏览 6提问于2020-02-11得票数 0
1回答
我正在尝试在Azure Databricks上实现DevOps。
我已经完成了databricks、notebooks和dbfs文件的devops实现。我确实有许多databricks作业在我的集群上按计划运行。其中一些作业指向notebook文件，少数作业指向dbfs位置中的jar文件。有没有办法在azure databricks作业上实现devops过程，以便DEV中的任何作业中的任何更改都将调用构建管道，并在PROD databricks实例中部署相同的作业。首先，我想知道
浏览 3提问于2020-11-27得票数 2
我正在使用新的Databricks Repos功能，在notebook活动的Data Factory UI中，您可以浏览Databricks工作区并选择Repos > username > project> folder > notebook。是否可以在Data Factory的特定分支中调用Databricks notebook？
浏览 17提问于2021-09-27得票数 2
回答已采纳
我已经使用databricks notebooks编写了通用的数据文件到达检查例程，它接受文件名和指定文件新鲜度的时间。许多管道使用此notebook并传递文件名元组，并在notebook结束时返回True或False，以指示下一个工作流活动是否可以启动。到目前一切尚好。现在我的问题是如何在Azure ADF管道中使用它，如果失败，它应该等待30分钟左右，然后再次运行上面的notebook进行检查？
浏览 22提问于2020-10-08得票数 0
回答已采纳
但我无法通过地形运行笔记本或作业。/IOT_notebook.dbc"resource "databricks_job" "myjob5" { timeout_secondsnotebook_task {
notebook_path = databricks_notebook.notebook</e
浏览 8提问于2022-08-20得票数 0
1回答
是否有api或其他方式以编程方式运行Databricks作业。理想情况下，我们希望从笔记本中调用Databricks作业。下面只是给出当前正在运行的作业id，但这并不十分有用：
dbutils.notebook.entry_point.getDbutils().notebook().getContext().currentRunId
浏览 5提问于2022-08-26得票数 0
回答已采纳
我正在使用ADF中的Databricks Notebook活动来转换ADLS gen2文件夹中的文件。这个文件夹是动态的，并且每天都会创建一个新的文件夹。因此，我希望Databricks Notebook活动每天动态拾取foldername，以处理该文件夹中的文件。
我们可以在ADF或Databricks Notebook活动中执行此操作吗？
浏览 1提问于2020-08-26得票数 0
我不知道我是否缺乏气流调度器的知识，或这是否是一个潜在的缺陷从气流。它运行在蔚蓝使用芹菜执行器和Redis任务实例详细信息如下：Dependencies Blocking Task From Getting Scheduled我是否遗漏了一些东西来判断它是否是一个bug，或者它是否是预期的？ dag=da
浏览 12提问于2021-05-17得票数 0
1回答
我目前正在使用Python的Threading来并行执行多个Databricks笔记本。这些是长时间运行的笔记本，我需要添加一些逻辑来终止线程，以防我想用新的更改重新启动执行。在不终止线程的情况下重新执行主notebook时，集群很快就会被计算量大、寿命长的线程填满，为实际所需的计算留下很少的空间。
我尝试过的建议，但没有成功。
浏览 2提问于2020-07-07得票数 0
我正在编写一个需要在本地以及Databricks上运行的星火作业。
在每个环境(文件路径)中，代码必须略有不同，因此我试图找到一种方法来检测作业是否在Databricks中运行。到目前为止，我发现最好的方法是在根目录dir中查找一个"dbfs“目录，如果它在那里，那么假设它在Databricks上运行。这感觉不是正确的解决办法。有人有更好的主意吗？
浏览 0提问于2018-07-13得票数 16
回答已采纳
我正在尝试做的是使用‘S3KeySensor’来检查一个数据的可用性(数据已经存在)，然后使用‘DatabricksSubmitRunOperator’来运行一个数据库作业。convivaoregon', soft_fail=False, timeout=50,)
task_i
浏览 3提问于2018-03-24得票数 0
5回答
Databricks很聪明，但是如何识别当前笔记本的路径呢？关于的指南没有帮助。它建议：dbutils.notebook.getContext.notebookPath
res1: Option[String] = Some(/Users/user@org.dk/my_test_notebook
浏览 1提问于2018-11-28得票数 19
回答已采纳
2回答
我正在使用databricks-connect和VS Code为Databricks开发一些python代码。我想使用databricks-connect直接从VS code中编码和运行/测试所有东西，以避免与Databricks web IDE打交道。对于基本的笔记本，它工作得很好，但我想对多个笔记本做同样的事情，并使用导入(例如，在另一个笔记本中使用import config-notebook )。据我所知，Da
浏览 45提问于2021-10-19得票数 1
，我可以让任务找到我想在Databricks中运行的笔记本- 'new_cluster': new_cluster, 'notebook_path': '/Users/airflow@example.com/PrepareData',}
但是，是否有一种方法可以告
浏览 4提问于2022-10-19得票数 1
1回答
我试图使用由气流(如DatabricksSubmitRunOperator或DatabricksRunNowOperator )提供的databricks内置操作符，但我无法使用它，它给出了以下错误：python代码，那么我可以在python的requests模块中提供False =False，但是由于我使用的是内置的操作符，所以我看不到从气流到databricks禁用ssl验证的任何选项。正在使用的示例代码：from
浏览 8提问于2021-12-21得票数 2
我的工作空间名是databricks-test.，我想在python记事本中的变量中捕获这个。
浏览 19提问于2022-01-31得票数 1
回答已采纳
我在Databricks 中的集群上上传了一个jar库，但是我无法从Databricks笔记本中导入这个库或使用这个库的方法。我一直无法找到论坛或文档来解决这个问题，所以我不确定这一点是否可行。我能够在Databricks中将jar文件作为作业运行，只是无法将jar库导入到Notebook中来运行它。我还尝试使用%sh魔术命令运行jar文件，但收到了以下JNI error
Error: A JNI error has occurred
浏览 6提问于2021-12-30得票数 1
是否可以在不调用DB集群的情况下在Jupyter Notebook上运行Databricks中的代码？我知道有一个VScode的应用程序，但我想试试Jupyter Notebook。我想要在我的计算机上运行所有的单元(使用本地处理)，当它完成后，我只需要将它转移到Databricks。这样，我就不会在测试代码上消耗集群。
浏览 11提问于2020-07-14得票数 0
回答已采纳
我正在尝试使用Linux服务器上的bash脚本中的notebook参数运行Databricks作业。我正在按照docs的说明进行操作，并且我已经验证了这些命令在终端中是否正常工作。/bin/bash
databricks jobs run-now --job-id 1 --notebook-params '{"param
浏览 23提问于2019-05-08得票数 1
使用Azure Devops管道任务，我正在导入azure.databricks.cicd.tools库并安装azure-identity和azure-keyvault-secrets。当我使用持有者令牌和集群id将其添加到集群中时，这些库可以很好地安装到集群中，但是，当我运行笔记本时，它显示Import module not fine。你能告诉我哪里出问题了吗？azureSubscription: xxxxx Inline: |
Inst
浏览 0提问于2021-11-13得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
