我有一个data bricks活动，我正在ADF中使用，我想在进一步的活动中获得运行输出，比如有一个文件，我在data bricks中使用它来获得列中的所有日期，现在我想在数据工厂参数中获得</e
浏览 42提问于2019-11-22得票数 2
1回答
如何在ADF中运行火花作业？
、、、、
我创建了一个带有参数的星火作业，并在Azure中附加了一个交互式集群。我在Azure数据工厂有一个使用笔记本活动的管道。当我创建链接服务时，它指向了我的交互式集群。如何使用ADF使用我在databricks中创建的作业运行管道</e
浏览 3提问于2022-07-08得票数 0
回答已采纳
1回答
我有存储帐户，其中有三个子文件夹和比csv文件。下面是文件夹结构。-Market 2 - Category 3,4 - Files.csv
文件总是在“类别”文件夹中。我需要一个一个地处理这些文件。为此，我需要文件名和路径。如何在数据工厂中实现这一点。我还试图找出是否可以将数据集配置为从第三级读取，但没有运气。我可以使用</e
浏览 2提问于2022-09-16得票数 0
回答已采纳
我没有几个excel文件需要是processed..either，将它们发送到一个基于前提的sql数据库或输出更结构化的csv文件。这些文件可以运行到100 and，并且有多个工作表。表格和数据是动态的。有些文件可能会或不会得到一些工作表。列也是相同的。此外，每个文件都有一个数据字典表，用于解释结构(工作表和相应的列)。
这肯定不能仅仅通过ADF中的简单复制活动来处理。我<
浏览 20提问于2022-03-20得票数 0
我在Azure DataFactory中构建了一个管道来运行Databricks进程。根据许多变量的不同，databricks进程可能需要运行10个小时或18个小时。我通过Data Factory中的逻辑应用程序/Web活动设置了一个电子邮件通知，以便在该过程完全完成时给我发送一封电子邮件。然而，我不知道如何将触发器的“持续时间”引入到成功的</
浏览 18提问于2019-10-04得票数 0
嗨，我有一个场景，我有一个csv文件在蔚蓝数据存储。在运行蔚蓝管道时，excel中的参数必须以迭代的方式逐一提取。根据每个参数，应该运行databricks笔记本。对于这个-如何迭代csv文件中的值有任何解决方案吗？
浏览 8提问于2021-12-08得票数 0
我有执行SQL存储过程(SP)的ADF管道。
SQL返回输出参数。我想在"SP“活动完成后立即可视化输出参数的内容。在下一步中，我有"Set variable“活动，它将上述输出参数的值分配给变量。我也想可视化这些变量<
浏览 5提问于2021-12-30得票数 0
2回答
假设我有一个指向SQL表的简单(非动态)数据集：然后在复制数据任务中，我想引用预复制脚本中的表，例如清除所有数据。如何从数据集中提取表名？就在Json里面，所以肯定有办法吗？例如，我看到ADF有一个活动集合，您可以从中提取东西，例如@activity("Activity Name").output .从数据集中提取属性有什么相似之处吗？还是从当前的复制数据
浏览 9提问于2022-04-25得票数 1
1回答
在我的公司，我在Databrick中开发了几个表，它从我们的Google查询和Azure数据湖数据中提取数据。它们在Excel仪表板和SQL表中使用，但它依赖于我每天或每周手动运行和下载这些表，这是一个巨大的麻烦。是否有任何方法可以设置作业，以便脚本可以运行，表可以自动下载到我的驱动器？然后我可以使用PowerShell来移动和重命名文件
<em
浏览 6提问于2022-04-01得票数 0
我在Azure Data中创建了一个管道。我创建了Databricks工作区、笔记本(带有一些代码)和一个集群。我创建了从ADF到DB的连接。我测试了连接。所有的灯都是绿色的。我发布了ADF管道。当我触发这份工作时，它说的是成功。但是在Databricks中什么也没有发生。D
浏览 2提问于2019-05-07得票数 1
回答已采纳
我有一个带有Databricks活动的ADF管道。我试图从文档
浏览 7提问于2021-05-05得票数 2
回答已采纳
1回答
我有大约120个管道，几乎400个活动在一起，我想把它们记录在我们的数据存储系统中，这样我们就可以使用powerBI报告性能了。我偶然遇到了，但在我看来，它似乎是在使用单个管道，但我想知道我是否能够在一个调用和活动中在ADF中获得<
浏览 0提问于2021-09-06得票数 0
回答已采纳
1回答
我正在为ADF v2管道使用一个存储过程活动。现在，这里的问题是，只要管道在存储过程活动中失败，我就无法获得完整的错误详细信息。下面是该存储过程活动的JSON输出： {
"effectiveIntegrationRuntime": "DefaultIntegrationRu
浏览 43提问于2020-07-27得票数 0
回答已采纳
我有一个ADF管道，有三个不同的活动顺序。我希望捕获该活动的错误消息，无论哪一个失败。因此，我通过传递一个参数来创建一个存储过程，该参数可以使用@activity('Activity name').Error.Message捕获它。
但使用该表达式，我只能获得指定活动的错误
浏览 1提问于2020-10-06得票数 0
我们有一个Azure DataFactory (ADF)管道，其中第一个是Databricks ( DB )记事本，用来轮询安装在数据库上的FS中的新文件(通常是基于“添加”元数据字段的1天增量)。然后，我们对该文件列表进行一些筛选，并将其传递给ForEach，以开始实际的数据清理/插入管道。这对于每天的增量更新很好，但是对于所有历史数据，我们从data中遇到了一个错误。我</em
浏览 8提问于2022-07-28得票数 0
回答已采纳
我想将来自蔚蓝数据工厂管道中的错误记录到应用程序的洞察中。从ADF到应用洞察力。有可能吗？有人能指引我吗？
浏览 2提问于2021-02-01得票数 0
假设我有一个ADF管道，只有一个类型的Hive活动。然后我为这个活动提供了10个输出数据集。因此，当管道运行片时，所有10个输出数据集的切片状态在ADF监视器中是否相同？我在ADF监视器中签入哪个输出数据集的切片状态重要吗？
浏览 3提问于2016-12-09得票数 0
回答已采纳
我在ADF中有一个Databricks活动，并使用以下代码传递输出：现在，我想将这个输出用于下一个Databrick活动。
作为我的搜索，我认为将最后一个输出添加到第二个活动的基本参数中。我
浏览 9提问于2021-07-28得票数 0
回答已采纳
2回答
我试图在ADF上实现DevOps，它成功地使用了具有从ADLS和SQL获取数据的活动的管道。
群集的连接参数如下所示。
当将ARM模板从dev ADF部署到具有<
浏览 3提问于2020-11-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
