1回答
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
我将数据保存在Azure data Lake Gen 2存储容器中。我想为在Crystal Reports中使用SQL on demand编写的现有报告提供此数据。我可以访问Synapse环境和数据湖。这成功地工作了，尽管速度很慢，但提取了所需的所有信息。 要正确部署此解决方案，我需要删除我的AAD证书，并使用已配置的服务原则。我给出了从数据湖中读取的服务原则，并将该原则添加到SQL数据库中。现在我被困在如何使用这个
浏览 28提问于2021-09-13得票数 2
回答已采纳
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。用Azure ML使用Azure的可能方法是什么？
浏览 2提问于2016-03-21得票数 0
回答已采纳
1回答
当将数据从kafka主题加载到增量湖时，运行时的单元格输出显示“计算快照版本: 3001”。我以前多次看到这条信息，但这是我第一次看到一个异常庞大的数字。
这个信息到底是什么意思？
浏览 8提问于2022-11-22得票数 1
回答已采纳
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog)，一个用于Datalake分析和其他数据湖存储。我的问题是，为什么每个文件夹的目的是什么，为什么我们使用U-SQL进行转换，而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。
浏览 18提问于2019-02-15得票数 0
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：
有人能帮上忙吗实际问题是什么！
浏览 0提问于2020-09-15得票数 10
我正在尝试使用this example从.Net客户端应用程序访问数据湖 我已经在AAD租户中注册了客户端应用程序，并使用其中的客户端Id和客户端密钥(因为我认为这是服务到服务的身份验证)。数据湖位于不同的订阅中，但属于同一租户/AAD 应用程序在“所有者”和“已分配权限”下对数据记录中的特定文件夹(根文件夹下两个层次结构)具有读/写/执行权限。如果是这样，我该如何检查我的应用程序的服务主体在这个数据湖上的访问权限。谢谢。
浏览 11提问于2019-01-06得票数 0
回答已采纳
我将从基于SAP HANA的OLTP源数据带到微软基于azure的数据湖，使用azure adf和数据块。在基于Microsoft的数据湖中，在SAP HANA源的以下数据类型中，数据类型应该是什么：
nvarchar(64
浏览 7提问于2022-02-05得票数 0
2回答
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在
浏览 1提问于2018-03-15得票数 3
回答已采纳
2回答
(Azure)数据湖的元数据管理
、、、、
据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？是否有任何自动读取元数据的机制(例如，从头文件中读取)，如果有，是否有任何方法来查看和编辑此元数据(可能是编程实现的API )？我担心，如果没有适当的管理，“湖”只会变成“
浏览 4提问于2017-03-27得票数 3
1回答
我正在尝试理解在下面的场景中最好的“气流方式”DAG设计是什么。 假设有10个不同的REST API端点，我需要为每个查询收集不同的数据有效负载响应。每个数据响应都需要写入数据湖存储。任务#2将有效负载1写入数据湖的中转区。任务#3获取有效载荷2。任务#4将有效负载2写入数据湖的中转区。……直到所有的有效载荷都被写入数据湖。问题是我如何将数据有效负载从例如任务1(它得到它)传递到需
浏览 48提问于2021-10-07得票数 0
回答已采纳
它应该从数据湖第一代存储中提取数据。现在，我知道在Databricks中，为了能够访问数据湖中的文件，应该首先挂载它。我想问一下是否: a.)B是有可能的。)方法是什么？
浏览 14提问于2020-08-13得票数 0
回答已采纳
我们将传感器数据作为.json文件推送到数据湖中。频率是每分钟发送一个.json文件。我想做的是将Power BI Stream数据集设置为高于容器数据湖，设置为一些寻求接近实时的仪表板。实现这一目标的最快方法是什么？
浏览 18提问于2020-05-12得票数 0
我想使用我的天蓝色数据湖Gen2上的蜂巢Metastore中的达美湖表作为我公司湖房的基础。
以前，我使用了“常规”蜂巢目录表。我会将数据从拼图加载到火花数据，并使用df.CreateOrReplaceTempView("TableName")创建一个临时表，这样我就可以使用spark或% SQL魔术来执行ETL了。但是，如果我不想执行这个saveAsTable操作并写入我的数据湖，该怎么办？使用SQL执行ETL的最佳方法是
浏览 6提问于2022-09-08得票数 0
回答已采纳
1回答
从大数据或数据湖的角度来看，数据归档和数据摄入到底有什么区别？我推测，在数据湖的上下文中，“摄入”是一个恰当的词，但是如果我们在那里使用'Archival‘而不是’摄入‘，那么我们所缺少的是什么。我认为使用“摄入”而不是“归档”的几个原因是
谢谢
浏览 1提问于2018-09-28得票数 0
为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？您甚至可以在数据砖中挂载多个ADLS2实例吗？
浏览 6提问于2022-06-03得票数 1
1回答
我们在ADLS Gen2上运行一个Delta湖，有大量的表和火花作业。这个设置已经稳定了几个月，但上周，我们看到存储帐户内的事务突然增加，特别是在ListFilesystemDir操作中：我们增加了一些较小的作业，在这个时间框架内读取和写入一些数据，但是关闭它们并没有将事务数量减少到原来的水平
浏览 4提问于2021-05-12得票数 3
我目前正在建立一个数据湖，试图遵循达美湖的原则(在青铜中降落，清洗并合并成银，然后，如果需要，以黄金呈现最终视图)，并有一个问题，什么应该储存在银。例如，如果青铜器中的数据来自REST并以JSON形式存储，则以以下格式输入：一个例子看上去如下：'id':12345,| 12345 | a |
|
浏览 4提问于2022-04-11得票数 2
回答已采纳
1回答
我正在尝试构建一个Azure Data管道，它从Azure数据湖中获取数据并对其进行转换。
在我看来，这其中的权衡并不明显。与CTAS相比，创建外部表的利弊是什么？
浏览 0提问于2019-04-17得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
