我在azure数据湖中得到了客户的评论,这些评论是在U-SQL中组合/格式化的。一些客户在他们的评论行之间留了一个空格。你知道如何使用U-Sql删除这些空行吗?
例如,一条评论
My name is abc
<blank line>
I love playing football.
需要删除中间的空行。Trim()仅删除开始和结束空格。谢谢。
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此,我尝试从flink中触发火花,从Azure数据湖中读取数据,并执行一些逻辑操作,然后将列表返回给flink。所以flink可以使用这些数据?
是否可以从flink触发spark作业?或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗?
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog),一个用于Datalake分析和其他数据湖存储。 我的问题是,为什么每个文件夹的目的是什么,为什么我们使用U-SQL进行转换,而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。 enter image description here 谢谢你,艾迪