我想将Azure数据湖存储与Grafana集成起来,以实现时间序列数据的可视化。我需要知道我可以使用哪些工具来使其成为可能。
我使用ADF从数据湖中存储的csv文件中提取数据,并移动到Azure数据资源管理器中的一个表中。在那之后,我使用了grafana中的Azure data explorer插件来进行可视化。它工作得很好。但我需要知道有没有其他更好或更具成本效益的方法。
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此,我尝试从flink中触发火花,从Azure数据湖中读取数据,并执行一些逻辑操作,然后将列表返回给flink。所以flink可以使用这些数据?
是否可以从flink触发spark作业?或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗?
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog),一个用于Datalake分析和其他数据湖存储。 我的问题是,为什么每个文件夹的目的是什么,为什么我们使用U-SQL进行转换,而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。 enter image description here 谢谢你,艾迪