我正在尝试使用scalatest.funsuite为我的Spark-Scala笔记本编写单元测试代码，但是带有test()的笔记本无法在databricks中执行。你能让我知道如何运行它吗？
浏览 21提问于2021-06-14得票数 0
回答已采纳
2回答
我定义了一些函数，并在其他笔记本中调用它，我想创建一个笔记本，它在ADF中对所有这些功能进行单元测试，还需要进行单元测试，比如源文件和数据帧之间的计数匹配。
如何做到这一点？
浏览 5提问于2022-07-18得票数 2
因此，我们可以在repos中包含.py文件，这些文件可以由Databricks笔记本调用。我们目前正在测试在Databricks集群上运行单元测试的可行性，而不是在Git / CI环境中使用(PySpark)映像。文件mycode_test.py包含一个带有pytest的单元测试构建(以及一些用于创建测试数据和处理session / Spark的补丁)。
我们从笔记本上运行pytest，而不是从命令行运行<
浏览 1提问于2022-06-29得票数 0
我在databricks中有一个笔记本，我将其放入作业中，以便每天在特定时间运行，并且我还从该笔记本创建了仪表板，如何在每次作业运行时自动导出仪表板结果？现在，我使用python包databricks-api (https://pypi.org/project/databricks-api/)连接到databricks。我的最终目标是自动化运行not
浏览 12提问于2019-09-24得票数 4
我正在尝试通过Azure Devops管道将文件复制到Azure Databricks DBFS。) $(databricks-cluster) databricks-connect test
浏览 41提问于2021-05-11得票数 1
回答已采纳
我在Azure Data中创建了一个管道。我创建了Databricks工作区、笔记本(带有一些代码)和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有的灯都是绿色的。我发布了ADF管道。但是在Databricks中什么也没有发生。DB中没有创建任何作业。笔记本单元中的代码显然没有执行。(我之所以知道这一点，是因为代码会打印当前时间。)
有人成功了吗？为了明确起见，我希望Databricks使用Databricks</
浏览 2提问于2019-05-07得票数 1
回答已采纳
1回答
我想用最新的git代码运行Repos中的所有databricks笔记本更新(一些开发人员不使用dbx，而是使用IDE (如VScode) )。我找到了azure的集成，运行了一些stages: stage: update_dbx_notebooksscript: |
-python -m pip install --upgrade databricks-cl
浏览 9提问于2022-09-07得票数 0
回答已采纳
我想一次复制所有的代码，然后从azure databricks运行它--我看到了一种从azure数据工厂运行python代码的方法，但是我看到它只针对一个python文件，对吗？I可以上传一个轮子并使用python应用程序作为库->，我可以将CLI应用程序的主程序重写到笔记本上，只需导入库。--我可以将所有代码重写到笔记本->中--这可能是最好的方法，但对于现有的应用程序来说，不太小的大小，我可以创建文件夹并将python代码上传到FS中，模拟Python项
浏览 5提问于2020-01-09得票数 1
1回答
知道在ADF数据流中转换将在后台的Databricks集群中运行，在相同管道中的Databricks笔记本上运行相同的转换会有什么不同(在成本和性能方面)？我猜这将取决于我们如何设置Databricks集群，但我的问题也是理解这个集群将如何在后台运行。它是平台中的专用集群还是共享集群？
浏览 30提问于2021-11-15得票数 1
回答已采纳
我想从运行在本地VS代码中的flask api函数中触发我的azure帐户中的Databricks notebbok。我有所有的连接参数，如主机网址，cluster_id，Token_id，除了Org_id，我无法找到和笔记本电脑的路径。如何编写一个Flask Api来触发(运行) Databricks Notebook。
浏览 0提问于2020-04-29得票数 1
1回答
我正在databricks工作区中开发我的代码。使用与Repos的集成，我使用Azure DevOps来控制我的代码。git checkout main
databricks workspace import_dir .但是，import_dir语句只复制以某些扩展名结尾的文件(例如，不复
浏览 14提问于2022-01-06得票数 1
1回答
我使用Databricks社区版本来运行火花工作负载。我知道它使用内核来运行笔记本。
笔记本将如何在幕后运行(几乎没有可用的信息)？
浏览 1提问于2020-10-03得票数 2
回答已采纳
在databricks上，我有一个关于代码的笔记本和一个关于单元测试的笔记本。 使用"%run“命令将代码”导入“到单元测试笔记本中。 如何从单元测试笔记本中创建代码笔记本中某个函数的模拟对象？下面是包含要打补丁的函数的代码笔记本(get_name)： # Databricks notebook source
def get_name_
浏览 16提问于2021-07-06得票数 1
我可以访问azure databricks，我可以创建python笔记本，并在里面运行spark命令但是如果运行下面的代码，它会给我以下的输出，<bound method SparkContext.sparkUser of <SparkContext master=spark:/
浏览 2提问于2022-08-04得票数 1
1回答
我试着用but在Databricks中运行单元测试，但总是返回Nonedef add_nums(a, b):notebook2 (我想在这里进行单元测试)from runtime.nutterfixture import NutterFixture, tag%run /notebook1/
我只需做一个tes来验
浏览 4提问于2022-11-14得票数 3
回答已采纳
我正在开发一个python包，它将部署到databricks集群中。我们经常需要引用python代码中的"spark“和"dbutils”对象。我们可以使用“星星之火”(如spark.sql())在笔记本中轻松地访问这些对象。如何在包中的python代码中获得spark实例？
浏览 0提问于2019-03-22得票数 1
回答已采纳
我还尝试了使用相同目录中的导入脚本和父目录中的"from sharedModules import sharedFunctions“进行"from . import sharedFunctions”。
浏览 2提问于2021-01-08得票数 2
回答已采纳
我对Databricks还是个新手，所以请原谅我在这里缺乏知识。我正在使用Azure中的Databricks资源。我现在主要使用UI，但我知道一些功能只能使用databricks-cli，我已经设置了它，但还没有使用它。是否可以使用Databricks Jobs创建直接调用此Python文件的作
浏览 47提问于2021-11-24得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
