2回答
我有SFTP中的文件，每周上传一次。这些文件都有一个附加了日期的名称。我想每周只将最新的文件复制到adls中。只要作业成功完成，就会将日期存储在一个sql表中，这样我就可以查找上一次成功运行的日期。 在我看来，我需要这样的东西:过滤名称中包含的</e
浏览 36提问于2020-07-02得票数 0
回答已采纳
1回答
我有一个将数据从Blob复制到Azure data Lake的复制活动。Blob由具有事件中心触发器的Azure函数填充。Blob文件附加有UNIX时间戳，这是事件中心中的事件入队时间。Azure数据工厂每小时触发一次，以合并文件并将其移动到数据湖。在源数据集中，我有按UTC时间中的上次修改日期进行筛选的功能。我想使用我自己的
浏览 10提问于2019-03-26得票数 2
回答已采纳
我有一个场景，我必须从blob存储容器中获取最新的文件夹，然后通过Azure数据工厂处理该文件夹下的所有文件，目前，所有文件夹名都是基于时间戳的，而且我们知道CloudBlobDirectory不保存LastModified日期，因此无法像上次修改的时间那样从Azure数据工厂活动中提取元数据
浏览 3提问于2021-10-05得票数 0
回答已采纳
为了明确格式，下面是DataFrame在Databricks中的保存方式：
folderpath = "abfss://container@storage.dfs.core.windows.net/folder_delta_log文件夹，其中包含描述数据上传的文件。增量日志文件夹指定应读取该文件夹中的哪组地块文件。在Databricks中，我
浏览 0提问于2020-12-02得票数 0
我们有一个Azure Data 2，它包含100多条JSON消息，这些消息是持续不断地传入的。这些文件存储在文件夹结构中，而不是基于加载时间的文件。现在，我们需要使用Azure Data检索所有新的JSON文件，因为我们上次运行管道。由于get元数据活动不允许递归检索文件和文件夹，所以我一直在研究其他选项。我知道使用Azure函数是可能的
浏览 5提问于2022-04-15得票数 1
1回答
我有一个单步作业，它执行一个查询，提取数据放入xls文件中。
我希望获得最后一次成功作业执行时间的日期，这样我就可以只更新增量而不是整个数据集。现在，我将作业设置为每天运行一次，但我希望将其安排为每5分钟运行一次(从SQL server代理)。在作业查询中，我选择了一个名为“update date”的字段(从源数据库中)，此日期必须与SSIS<e
浏览 1提问于2012-06-28得票数 2
我们知道，如果我们在linux或mac中下载一个大文件，文件的最后修改时间将保持不变。这在S3中是一样的吗？对象最后一次修改了time will keep changed during uploading，或者它只是一个简单的时间戳to record the start of upload operation
浏览 1提问于2021-04-13得票数 0
1回答
我正在研究一项降低数据存储成本的要求。它包括以下任务：
能够根据上一次修改日期更改单个blobs的级别。Azure数据工厂是否有内置的活动来处理这些任务？自动化清理过程的最佳方法是什么？
浏览 1提问于2020-03-09得票数 0
2回答
从数据流的角度看MapReduce和HBase的组合，我的问题似乎很合适。我有一个很大的文档集，我想要映射、合并和缩减。这样做的好处是，在执行期间(或两次执行之间)的任何时间点，我都可以获得Map在该时间点的结果。
据我所知，以MapReduce的身份运行此作业需要每次运行所有的映射函数。我的Map函数(实际上是任何函数)总是为给定的输入提供相同的</em
浏览 3提问于2009-11-07得票数 2
回答已采纳
2回答
我目前正在进行一个项目，在这个项目中，我需要数据工厂管道根据上一个运行日期进行复制。
数据被输入存储帐户。所摄取的数据采用目录格式--主题/yyyy/mm/dd，即将多个文件放在一个目录中，因此它的文件按日期进行分区，这些日期看起来类似于这个、和年份等。该过程目前基于最后一个高水标记日期<
浏览 8提问于2022-11-04得票数 0
1回答
我已经创建了一个在线文件系统，基于php而不使用数据库。它工作得很好，但有一点让我很恼火：有没有办法在不编辑每个文件夹的情况下进行最后一次编辑(这
浏览 0提问于2011-12-20得票数 0
回答已采纳
我正在尝试创建一个通道，用于从sFTP站点获取二进制文件并将其传输到第二个sFTP站点。源站点在周五更新他们的文件，所以我创建了每个星期天运行的频道。主要问题是，我希望将已处理的文件留在源目录中，并且只处理在每周通道运行之间存放的文件。
在Mirth Connect中这样的事情是可行的吗，实现它的最有效的方法是
浏览 13提问于2018-08-30得票数 2
我在不同的数据库中有两个表。在一个表A中是数据，在另一个表B中是用于从第一个表增量加载数据的信息。我想从表B加载，并将上次从表A成功加载的日期存储在一个映射变量$$LOAD_DATE中。为此，我从表B中读取了一个日期，并在表达式中使用SETVARIABLE()函数来设置$$LOAD_DATE变量。我执行此操作的端口被标记为out
浏览 1提问于2016-03-09得票数 2
回答已采纳
我使用命令按钮将excel文件导入到各个表中，并且希望跟踪每个表上次更新的时间(即最后一次单击命令按钮并成功运行时)。为此，我尝试在每个命令按钮旁边添加一个文本字段，然后将Me.TextField1.Value = Date添加到每个按钮的_Click子程序中。这将正确地填充日期，但当我关闭数据库时，它不会保存值。如何防止每次重新打开数据库时重置日期值？
浏览 7提问于2017-10-26得票数 0
回答已采纳
我们能否得到数据库列表的输出，这些数据库在过去两个月中没有在服务器中被修改，并且基于此，我们必须删除所有这些数据库。我已经尝试了以下的查询：--确定用户数据库最后一次被访问的时间-- ,MAX(LastAccessDate) DatabaseLastAccessedOnHAVING DatabaseName NOT IN ('master' ,'tempdb'
浏览 0提问于2018-10-05得票数 1
回答已采纳
在我系统中，我们基于设备状态生成警报别名，所以它对某些数据有效，但不是对所有对象有效，所以我找到了一个解决方案，比如如果设备在警报别名列中没有任何值，那么我将尝试更新这些对象的上次修改日期，并在下一次运行时生成警报别名所以现在我想写一个触发器，用于在alarms别名填充为空的情况下更新上次修改日期列。请建议或让我知道如何在plsql中实现它。
浏览 0提问于2016-03-09得票数 0
我的项目数据不容易使用筛选器，这些过滤器会使case导出的行数低于100,000。我有什么选择来回避这个问题？
有没有办法下载案例数据而不通过“导出案例”接口？
浏览 0提问于2017-03-23得票数 1
回答已采纳
1回答
我希望有一个源系统的增量加载模式，其中没有审计字段，它说明了记录上次修改的时间。示例:上次修改时间(日期和时间) 但是这些表是用主键和唯一键定义的，当属性发生任何变化时，应用程序都会使用它们来更新记录。现在的问题是，我如何确定Delta的每天，并使用Azure数据工厂/数据库将它们加载到Azure数据湖中。 我是否应该转移当天和当天1的
浏览 26提问于2020-03-26得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
