我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS,但只复制最新的文件。每小时,到达源的一个.csv文件,这个文件必须被复制到宿数据湖。有没有办法创建一个基于事件的触发器(新文件到达源代码)?这是我的第一个想法。
另一种方法是创建一个作业,由Azure Data lake analytics运行。在那里我会提取系统的日期和时间(我不知道怎么做)。选择最新的文件,并将该文件复制到接收器数据湖中。如何使用u-sql声明包含日期和时间的变量?如何使用u-sql将数据复制到数据湖中?
我无法从Azure SQL DB创建到两个特定表的外部表, 我已经创建了几个没有问题的外部表。我能看到失败的和成功的外部表之间的唯一区别是失败的表包含地理类型的列,所以我认为这是问题所在,但我不确定。 CREATE EXTERNAL TABLE IF NOT EXISTS [Data].[Devices] [Id] intFROM SqlDbSource LOCATION "[Data].[Devices]"; Failed to connect to data source: 'SqlDbSource', with error(s):