我刚开始使用数据工厂，有两个管道。
我本可以避免在数据工厂表示中使用管道B中的数据集A。但是，我担心管道A可能会在管道B处于活动状态并运行时开始运行并损坏数据集。
浏览 2提问于2017-10-04得票数 0
回答已采纳
1回答
我们正在构建一个生产数据管道，它根据批处理作业(AWS数据管道活动)的依赖关系动态地运行它们。除了运行整个数据管道之外，我们还希望运行管道的特定部分和特别的单个活动。1)是否可以在关闭某些活动的情况下运行AWS数据管道？
2)是否有从现有AWS数据管道运行单个活动的方法？
浏览 2提问于2016-02-02得票数 2
我有一个C程序，它通过(Linux)管道接收来自另一个程序的数据。我希望在编写任何数据之前，如果管道关闭，程序的行为就会有所不同。这样做的自然方法是尝试从管道中读取数据，并检查是否获得EOF，但如果有可用的数据，则会消耗管道中的一些数据，而且(据我所知)无法将数据“返回”到管道中。程序中我想检查管道是否为空的部分与我处理数据的位置很远，所以我不想在第一次读取之前保
浏览 0提问于2020-08-13得票数 5
回答已采纳
1回答
我有一个问题，使用sklearn管道来预测/分类数据。我知道如何建立一条管道，用训练数据训练它，用测试数据测试它，但在那之后我就迷路了。如何使用管道预测新数据/未见数据的值？我构建了一个用OneHotEncoder转换分类数据的管道，另一个用StandardScaler缩放列来转换数值数据的管道。接下来，我想使用管道来预测新的/未见的
浏览 0提问于2020-05-14得票数 2
我对一些围绕流媒体的数据流定价感到有点困惑：现在，如果我启用了--streaming，那么定价对这个管道会产生什么影响呢？
浏览 6提问于2022-08-16得票数 0
回答已采纳
在Azure数据工厂中更新属性(数据集/管道/触发器)的Power命令是什么？
例:Set-AzDataFactoryV2管道-在Azure数据工厂中创建/更新管道。Incase set -AzDataFactoryV2管道命令可用于更新管道，如何设置新的名称属性?此命令中的哪个参数适合重命名管道？，但我想知道哪些命令可以更新诸如管道名称/触发器名称、/Dataset
浏览 1提问于2020-11-27得票数 0
我正在使用Azure DevOps管道来运行一些作业。这个管道是使用YML创建的。因为我使用我的DevOps管道调用Azure数据工厂管道，所以如果用户手动取消DevOps管道，在这种情况下，我的Azure数据工厂仍然处于运行模式，理想情况下不会发生这种情况。每当从UI取消azure DevOps管道时，是否有方法自动停止我的Azure数据工厂管道？
浏览 26提问于2020-12-22得票数 0
回答已采纳
1回答
我正在创建一个云数据融合管道，在这里我需要从数据库中提取增量数据。我对数据的查询如下：将last_pipeline_run_time作为参数动态传递给数据融合管道的最佳方法是什么
浏览 1提问于2021-06-06得票数 0
回答已采纳
我正在寻找一个设计模式来解决以下问题：处理数据(公司验证)例如:读取csv文件，处理数据，保存为xml读取MQ消息，处理数据，保存到数据库。
浏览 2提问于2011-11-28得票数 5
回答已采纳
1回答
我使用一个C#进程调用ffmpeg，如下所示：我使用进程.StandardInput.BaseStream在源数据流中进行管道，并从.StandardOutput.BaseStream获取返回的数据。问题是，FFmpeg不发送数据。它坐着，显然在等着。没有错误。任何东西都不会写到StandardOutput上。( a)传入源文件位置并通过管道</em
浏览 4提问于2015-03-02得票数 0
回答已采纳
在AWS数据管道控制台中，当我上传管道定义文件时，我总是收到这样的错误-尝试使用“”选项创建管道定义。它成功了，然后我导出了管道定义，并尝试创建另一个具有“上传管道”的管道。这样做只是为了确保我创建的管道没有任何错误。但还是有同样的
浏览 3提问于2015-04-08得票数 0
回答已采纳
在我的ADF中有两条管道，如下所示：
我有一个管道‘管道A'，它可以更改特定的data 'Blob’，并且每天运行一次数据集依赖关系(它是一个过时的数据集，仅在这个管道运行的文件创建上运行)。还有另一个管道‘管道B'，它可以进行一些清理，所有这些都是针对多个数据块，包括“blobs”，而这个管道每6小时运行一次。当两个管道修改相同的blob时，当两个管道</em
浏览 5提问于2022-08-09得票数 0
回答已采纳
1回答
我一直试图确定是否可以在管道客户端的线程之间共享管道句柄(在windows上)。我最初的想法是，我不能这样做，因为除非我同步线程，否则数据可能会出现在服务器上，从而导致问题。但是，我现在想知道PIPE_TYPE_MESSAGE和PIPE_READMODE_MESSAGE的管道是否允许我让多线程管道客户端共享一个管道句柄。有人对此有明确的答案吗？我希望在客户端线程之间共享一个管道句柄的原因是为了节省每次发送数据时打开管道的成本。我不能轻
浏览 4提问于2015-07-20得票数 3
远程存储为Java提供了一个方法，该方法接受OutputStream并将文件数据转储到其中。void dump(OutputStream dest);
我想出的简单方法是创建一个临时文件，将数据转储到其中并以InputStream的形式重新打开它。但是这种方法创建了一个临时文件。
浏览 2提问于2015-09-16得票数 3
回答已采纳
我有主管道的参数“数据库”，它有值"DB1“。当我执行主管道时，会出现错误。我看到Lookup使用了"Database"，它具有"“的价值。如何将参数值从管
浏览 4提问于2022-03-17得票数 0
回答已采纳
我正在尝试使用命名管道来解决这个问题：然后我还有第二个过程。此过程会将数据转储到命名管道中。
理想情况下，我希望将此数据转储到命名管道中，等待它可供持续运
浏览 0提问于2020-05-18得票数 2
我们一直在使用AWS数据管道将关系数据库数据迁移到Redshift。随着时间的推移，数据管道的数量已经增加到很难找到的地步。此外，我们有用于星火EMR活动的数据管道，因此它真的变得令人困惑。有什么方法可以为AWS数据管道创建文件夹吗？
浏览 2提问于2017-08-15得票数 0
回答已采纳
我正在尝试创建一个主管道，它将检查子管道是否必须使用数据库中的配置来运行。子管道的名称是主管道的参数。我们希望使用传递给项目的参数为执行管道活动选择管道的名称。最终的目标是，如果我们已经检索到了数据，我们就不想再从源中获取数据。如果在整个ETL过程中有任何错误，我们希望避免运行已经完成的管道。
我正在尝试避免创建自定义活动，因为它需要Azure批处理帐户。
浏览 1提问于2018-04-23得票数 3
3回答
我在数据融合中有三条管道，分别是A、B和C。我想让管道C在A和B两条管道执行后被触发。管道触发器只将依赖项放在一个管道上。这能在数据融合中实现吗？
浏览 6提问于2020-08-28得票数 2
回答已采纳
我已经导入了一个数据流作业，因为dataflow作业的UI中的一个数据管道能够为这个管道设置计划，但是我看不到管道的细节，有什么问题吗?或者我在这个项目中没有权限？
浏览 4提问于2021-11-17得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
