1回答
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
我需要从Azure数据库表中获取表数据，并使用逻辑应用程序将其上传到data Lake文件。上传完成后，我需要获取数据湖文件中存在的记录数。逻辑应用程序是否有任何表达式或内置方法来获取数据湖文件中的记录数。
浏览 0提问于2017-08-02得票数 0
我已经使用逻辑应用程序将数据加载到azure datalake存储gen2。我尝试使用连接器azure文件存储，但在that.Can中无法获得任何文件系统文件夹。有人在此问题上帮助我吗？
浏览 0提问于2019-05-16得票数 1
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据<e
浏览 2提问于2017-07-11得票数 0
1回答
我有一个要求分类的PII和非PII数据从Azure数据湖发电1文件。由于我不想复制数据湖中的物理文件创建，我们是否可以在数据湖中创建逻辑视图，最好与物化视图相比较。更好的技术-天青同步分析/数据库/ VM与火花过程，.告诉我可能性。
浏览 4提问于2020-09-11得票数 0
回答已采纳
1回答
你好，我是Azure逻辑应用程序的新手。目前，我遇到了PDF压缩的问题。我的问题是，已经存储在数据湖中的文件很少，我想检查它们的大小，如果大小超过20 My，那么我需要在数据湖中用压缩文件来压缩和替换原始文件。首先从数据湖获取数据并获取content.And，然后从文件的元数据和正在提取的大小的元数据中获取数据。如果尺寸大于20，我就压缩。
我使用文件大小列表作为“真”。
浏览 4提问于2022-03-23得票数 0
1回答
在现代数据体系结构中，将数据湖划分为多个层次，数据以原始形式存储在着陆区，然后在可信/应用层进行汇总整理和存储。我相信我们甚至可以通过数据湖中的可信数据来进行报告。如果是这样的话，我想不出一种逻辑来证明数据仓库的存在是合理的。还是可信数据本身就是Datawarehouse？或者信任的数据更像是只是聚合数据，而不是做适当的建模，因此我们仍然需要数据仓库。
浏览 9提问于2022-07-25得票数 0
我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：
有人能帮上忙吗
浏览 0提问于2020-09-15得票数 10
我尝试使用ADF，但失败了，所以我使用逻辑应用程序。在逻辑应用程序中，我可以从SharePoint获取数据，但不能将文件上传到数据包中。我在逻辑应用程序中使用以下动作
在达拉湖的SharePointUpload文件中，列表文件在SharePoint中获取文件内容--这不起作用。
浏览 3提问于2021-09-01得票数 0
我有一个包含251个观测值和45个变量的数据框架。数据框中间有6个观察值，我希望从我的分析中排除它们。所有6个都属于一个因子的一个级别。很容易生成一个新的数据框，当打印时，它似乎排除了6个观测值。然而，当我使用新的数据框按相关因子绘制变量时，假设排除的水平仍然包括在绘图中(sans观察值)。使用str()确认该级别仍然以某种形式存在。此外，新数据帧的索引跳过了观察值以前所在的6个值。如何创建一个新的数据框来排除6个观测值，并且在绘图时不能继续识别排除的因子级别？是否可以使新数据<
浏览 1提问于2010-08-18得票数 4
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
我需要建立一个能够从一个DataLake复制到另一个的管道，但是到目前为止，通过谷歌搜索，我找不到任何与之相关的东西，有人能给我指出正确的方向吗？非常感谢。
浏览 16提问于2018-02-21得票数 0
1回答
我现在正试图通过数据工厂将数据从cosmosdb复制到数据湖存储。cosmos迁移工具不工作，没有导出数据，也没有问题日志。
浏览 3提问于2017-07-11得票数 1
我有一个镶嵌格式表，存储在azure数据湖gen2中，它直接连接到azure synapse中的外部表。我正在尝试用SQL语言制定一个逻辑，它将读取拼图文件表的模式，并动态地将其粘贴到外部表列名称上。
如果你有任何想法/逻辑，请告诉我。
浏览 5提问于2021-10-29得票数 1
我在Data Lake中处理大约4000个csv文件的输入文件集，当作业准备时间超过25分钟时，作业失败并出现脚本编译错误
浏览 0提问于2017-04-20得票数 2
我对Azure相当陌生，我只是尝试Azure数据湖分析。为了测试目的，我创建了一个新的Azure帐户，并且希望现在就删除它，但是在安装过程中，我使用了一个现有的Azure数据湖存储(ADLS)帐户作为默认的存储帐户。我现在知道我可能应该添加现有的ADLS作为关联的数据存储。
浏览 3提问于2017-08-18得票数 0
我正在尝试设置网络活动以将数据从Azure data Lake Gen 1发布到REST API服务，遵循了在此link中执行的类似设置，但由于错误“丢失文件”而无法成功。--location --request POST 'https://xxxx/files' \--form 'file=xxxxx' 数据集设置
浏览 13提问于2020-07-17得票数 1
2回答
复杂气流交叉DAG依赖性
、、、
在我的气流中有两种类型的DAG：
每小时三次DT1s触发。一次DT2 -每天触发一次(~10或11 PM)。但是，只有在过去一小时所有三个DT1s都处于“成功”状态时，才能触发DT1s。
浏览 17提问于2022-06-13得票数 0
云服务器
ICP备案
对象存储
即时通信 IM
云直播
腾讯云开发者
