我目前正在使用Azure Data Factory进行ETL作业,最后我想启动一个U-SQL作业。我已经创建了我的datalake.usql脚本,脚本使用的UDF在datalake.usql.cs文件中,与Visual Studio中的U-SQL项目具有相同的结构(这是我开发U-SQL作业并成功运行它的地方在那之后,我将它们都上传到Azure Blob Storage,并在Azure Data Factory中设置U-SQL步骤来使用U-SQL
我正在尝试使用Data Lake工具在Visual Studio 2019中本地运行U-SQL脚本。通过单击U-SQL文件上的"Submit“按钮,我在启动作业后立即得到一个错误。我不知道为什么会发生这个错误,也不知道是在什么步骤发生的。我在U-SQL脚本中使用了一个用户定义的Applier,但是Applier已经在实际的Azure数据管道和我经理的机器上正确运行了,所以它不是Applie
我正在尝试使用Azure Data Lake Analytics(ADLA)中的U-SQL脚本来处理上载到Azure Data Lake Store(ADLS)的两个csv文件。CSV文件中有一行和三列。我不清楚如何使用U-SQL脚本添加每个文件的三个元素,并将结果放入一个新的CSV文件中。有人能帮我解决这个问题吗?
我目前有一个包含一组不同脚本的U-SQL项目,我正在尝试为它们创建单元测试。我可以使用Azure Data Lake工具和一组测试数据在本地运行脚本,并生成预期的输出。这些脚本是纯U-SQL数据操作/转换,所以因为没有方法,所以我不确定测试它的正确方法是什么?如果任何人有任何经验/想法应该如何做或任何文档,请随时帮助。
谢谢