数据湖云计算中心项目
数据湖是一种大规模、高效、可扩展的数据存储和分析解决方案，它可以存储来自各种来源的结构化、半结构化和非结构化数据，并提供低延迟的数据访问和分析能力。数据湖通常包括数据仓库、数据湖存储和数据湖分析等组件，可以支持实时数据处理、批处理、交互式查询等多种数据处理场景。
数据湖云计算中心项目是一个基于云计算的大规模数据处理和分析平台，它可以为企业提供高效、稳定、安全的数据存储和分析服务。数据湖云计算中心项目可以支持多种数据源的接入和处理，包括结构化数据、半结构化数据和非结构化数据，并提供数据安全保护、数据访问控制等功能。同时，数据湖云计算中心项目还可以支持实时数据处理、批处理、交互式查询等多种数据处理场景，并提供数据可视化、数据挖掘、机器学习等高级数据分析功能。
数据湖云计算中心项目的优势在于可以支持大规模、高效、可扩展的数据处理和分析，同时提供低成本、高可用、高安全的数据存储和分析服务。它可以应用于各种行业和场景，包括金融、电信、制造业、医疗等行业，可以帮助企业实现数据驱动的决策和创新。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据仓库：https://cloud.tencent.com/product/dws
- 腾讯云对象存储：https://cloud.tencent.com/product/cos
- 腾讯云大数据分析：https://cloud.tencent.com/product/tdsql-bigdata
- 腾讯云数据湖：https://cloud.tencent.com/product/datalake
- 腾讯云数据分析：https://cloud.tencent.com/product/dataanalysis
- 腾讯云机器学习：https://cloud.tencent.com/product/tke
- 腾讯云人工智能：https://cloud.tencent.com/product/ai
- 腾讯云物联网：https://cloud.tencent.com/product/iot
- 腾讯云移动开发：https://cloud.tencent.com/product/tmt
- 腾讯云存储：https://cloud.tencent.com/product/cos
- 腾讯云区块链：https://cloud.tencent.com/product/tbaa
- 腾讯云元宇宙：https://cloud.tencent.com/product/metaverse
相关·内容
2回答
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41提问于2019-03-05得票数 5
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。
下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。
根据使用的用例/服务，可以使用数据管道、Glue Jobs或AWS Lambda事件触发器来调度作业。
分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行数据查询，或在Sagemaker中为ML应用程序使用数据。
我的问题是，AWS湖的形
浏览 0提问于2019-08-20得票数 3
2回答
在亚马逊S3中实现CDC
、、、
我对云空间还是个新手。作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。有没有其他方式可以实现从S3到另一个S3 bucket的CDC？
浏览 1提问于2020-01-30得票数 0
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设云存储中的文件中的每一行都被视为一条消息，如果从云存储读取，然后处理到Datalake的进一步操作，对吗？
b)使用Dataflow将json转换为文本文件格式，并保存在云存储中
c)还有其他选择吗？
浏览 3提问于2018-08-02得票数 0
我所在的公司正在启动我们整个DWH的重新设计过程。其想法是迁移到云解决方案，并使用数据湖概念。从湖中，数据应该被传递到一个3NF DWH，最后，通过市场最终用户。
这些集市的目的将是多种多样的。从报告到会计和培训ML模型。
我有机会在设计这些市场的过程中扮演重要的角色，但我从来没有这样做过。
你对从哪里开始有什么建议吗？一本书，一篇文章？
我希望这是提出这样一个问题的正确地方，并感谢你的贡献。
浏览 0提问于2021-02-08得票数 -1
回答已采纳
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。是否也限制了datalake支持的格式。
任何帮助都是非常感谢的。
浏览 2提问于2019-05-08得票数 0
我正在向学习。它要求创建一个新的hdinsight集群(选项是hadoop、hbase、风暴或火花)以及一个存储帐户。集群和存储帐户之间有什么区别？集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？
同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像
HDInsight微软的基于云的大数据服务。Apache和其他流行的大数据解决方案。
数据湖分析大数据分析容易
浏览 5提问于2016-03-18得票数 3
关于不同Azure存储服务的用例，我有一个问题：
Azure数据湖存储。
Azure Blob储藏室
Azure文件存储。
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2提问于2019-02-07得票数 18
我正在从事一个数据湖项目，我使用(编写pyspark代码)用于ETL，使用Azure DevOps用于CICD和源代码管理。我注意到了Devops中的测试计划:我的查询是，我可以使用测试计划进行数据湖测试吗？我浏览过与网络浏览相关的测试计划，但没有发现任何与数据湖、数据库或数据仓库相关的计划。
浏览 3提问于2020-01-19得票数 0
1回答
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。或者它会被自我托管的集成运行时压缩到prem上？
浏览 5提问于2019-12-16得票数 0
回答已采纳
1回答
又是我！在得到关于这个问题的帮助后，我设法用编写了一个小的微服务。为此，我按照建议切换到了天鹅湖。
但是现在我在使用IDE和他们的插件时遇到了困难。因为所有与此相关的问题都相当陈旧，所以我正在创建一个新的帖子。我正在写一篇关于芭蕾舞和云原生语言的论文，我想展示一个生成的序列图会很酷，所以我试着建立一个合适的项目并生成一个。
然而: IntelliJ插件似乎还不支持天鹅湖。我总是收到SDK无效的错误消息。所以我转而使用VS Code。在这里我有很多问题。我可以很好地运行和构建我的东西，我也有语法突出显示，但我不知道如何获得图表。文档告诉我通过项目概述或文件概述打开它。但我没有。我的VS代码窗口如
浏览 3提问于2021-02-28得票数 0
我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。我设法在Azure中安装了包nptdms，并运行了下面的代码行
从nptdms导入TdmsFile
但我不知道如何在第二个代码行或第三个代码行中给出值path_to_file。
tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：
它不起作用。我相信nptdms包只是为就地编写的，它不适用于云语法。
我想知道有谁能在Azure平台上分享阅读tdms.files的经验。
浏览 14提问于2021-07-05得票数 0
4回答
我计划使用Azure Data Factory作为项目中数据湖分析作业的触发器。数据湖作业将根据传感器输入数据计算关键数字，这些数据由StreamAnalytics处理并存储在数据湖中。这些作业应该每隔5分钟计算一次这些值。
根据Microsoft文档，无法配置小于15分钟的间隔/频率。
有没有人遇到过同样的问题并找到了解决方案，或者在这种情况下使用不同的工具作为Azure Data Factory会更好？
浏览 3提问于2017-05-16得票数 0
1回答
在azure数据库上部署SSIS时，部署SSIS真的需要一个蔚蓝的数据湖房吗？我目前正在从事一个SSIS项目，该项目的数据库目前部署在Azure上，而我目前在部署该项目时遇到了问题，因为它直接将我发送到“或Packages”页面中，我认为这将要求我打开Azure数据湖存储，这将使我们付出代价。我是否可以免费部署SSIS包？
浏览 0提问于2020-01-30得票数 2
问题陈述-有两个不同的团队为同一个客户处理两个不同的项目。两个团队都可以访问创建了天蓝色数据湖存储的蔚蓝资源组。现在，客户端希望我们在两个项目中使用相同的数据湖存储，但他们也希望处理特定容器的团队不应该访问其他团队将使用的其他容器，反之亦然。
例子--
Azure数据湖存储-both团队可以访问这个->容器1-只有团队1应该有权访问这个->容器2-只有团队2应该可以访问这个
有谁能建议我们如何做到这一点。
提前谢谢！！
浏览 0提问于2021-09-07得票数 0
我是亚马逊网络服务的新手，我正在尝试通过以下方式在亚马逊网络服务上部署模型数据湖解决方案：
要部署云形成模板，它需要一个访问IP地址。此处需要的IP地址是多少？这是我用来连接到AWS的机器的IP地址吗？我是通过DHCP网络连接的，因此IP地址将在下次连接到网络时更改。
如果有人能澄清这一点，我将不胜感激。
浏览 4提问于2018-05-01得票数 0
2回答
我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：
使用融合云与Apache需要订阅合流和付费( )
使用Azure VM与汇流集线器安装汇流平台
目前，我不愿意支付合流许可，也不想测试合流包(越来越多的包装和箍)
是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？如果是，我们如何实现这一点，任何有用的信息共享？
浏览 4提问于2021-06-08得票数 1
我感兴趣的是以分散的方式计算医疗数据，在这种方式中，没有一个计算资源或请求者可以为了隐私考虑而完全访问这些数据。
在此模式中，当选的服务人员(分散计算机)使用公共算法计算部分原始输入数据。计算的数据最终被传送到请求者。
据我对EVM的理解，输入的数据和算法都存储在块链上，这极大地限制了可用的计算资源，不必要地扩展了块链的大小。
之后不久，我发现了云母计算市场，它看起来对我的应用程序来说更有趣。
由于我仍然对EVM的真正含义感到困惑，我想知道我是否可以使用它来：
计算从数据湖云发出的加密数据
使用类似GPG的方法加密结果。
将结果发送到云服务器上。
浏览 0提问于2017-12-04得票数 1
1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
Kappa体系结构是否使用数据湖？
浏览 10提问于2022-07-21得票数 0
回答已采纳
我使用Azure来构建我的Java项目。我需要认证一些Azure服务如下：
文件存储
队列存储
服务总线队列
服务总线主题
数据湖
数据湖Gen 2
Blob存储
事件中心
我在上找到了一个简短的文档，它只提到了大约4种身份验证()方法。但它并不能确认它们用于什么服务。而我仍然担心这些服务是否都能用于上述服务？
目前，我想知道Azure中每个服务的auth方法列表，就像我前面提到的那样。
请给我建议，非常感谢！
浏览 2提问于2021-01-14得票数 0
回答已采纳
我在通过REST API刷新Power BI数据集时遇到问题。
每当我尝试执行dataset刷新API时，都会收到此错误：
上次刷新失败：...没有可用的网关。
我在两个账户上测试，这只发生在其中一个账户上。
更令人困惑的是，我使用的存储是基于云的(Azure数据湖)。所以它不需要网关连接。当我手动刷新数据集时，它可以正常工作。
当我获得更多investigationI的刷新历史记录时，获取以下内容：
serviceExceptionJson={"errorCode":"DMTS_MonikerWithUnboundDataSources"}
我需要任何人的帮助
浏览 51提问于2020-06-10得票数 0
回答已采纳
1回答
最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。
我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。
不管怎样，有什么最佳做法吗？
干杯!
浏览 0提问于2019-07-24得票数 0
回答已采纳
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。
我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
浏览 2提问于2022-08-09得票数 0
回答已采纳
3回答
我有这样的桌子结构。
| name | data | er | fa_ma |
|---------------------------------------------------------|
| A | B | C | Park,Lake,Walk |
|-------------------------------------------------------- |
我像这样查询我的数据
公园，湖，步行
使用下面的代码
echo '<di
浏览 3提问于2017-11-27得票数 1
回答已采纳
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。 我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。 我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？
浏览 14提问于2019-05-01得票数 1
2回答
我试着阅读了很多关于databricks delta lake的资料。据我所知，它为您的数据存储增加了ACID事务，并通过增量引擎提高了查询性能。如果是这样，为什么我们还需要其他不支持ACID事务的数据湖呢？Delta lakes声称将数据湖和数据仓库这两个世界结合在一起，我们知道，由于它目前对操作的支持，它还不能取代传统的数据仓库。但它应该取代数据湖吗？为什么需要两份数据副本-一份在数据湖中，另一份在德尔塔湖中？
浏览 21提问于2020-07-30得票数 0
回答已采纳
2回答
我是这个Azure数据湖世界的新手。我正在寻找任何必要的先决条件和注意事项，以便使用蔚蓝数据湖.我找到了一个很好的链接，并发现安静有用。
现在，我不确定的一件事是数据保持策略在数据湖中。有些人说数据不应该从数据湖中删除/清除，而很少有人有不同的看法。
因此，在任何数据湖中，对于数据保留策略(归档、清除)，我们是否需要遵循特定和基本的考虑？我知道用例将是这方面的决定因素，但在作出决定之前，是否有任何高层次的考虑因素，是我的问题。
谢谢,
浏览 1提问于2017-02-19得票数 2
回答已采纳
我的要求是我想要创建api/azure函数从SFTP服务器上传文件到蔚蓝数据湖存储，有什么参考项目或指南，请指导我。
浏览 3提问于2022-07-15得票数 0
2回答
我有以下问题。我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS，但只复制最新的文件。每小时，到达源的一个.csv文件，这个文件必须被复制到宿数据湖。例如：
event: Hour1 - file_01.csv到达源。任务:复制file_01.csv以接收数据湖。event: Hour2 - file_02.csv到达源。任务:复制file_02.csv以接收数据湖。诸若此类。
有没有办法创建一个基于事件的触发器(新文件到达源代码)？这是我的第一个想法。
另一种方法是创建一个作业，由Azure Data lake analytics运行。在那里我会提取系统的日期和时间(我不知道怎么
浏览 2提问于2018-04-23得票数 0
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
用Azure ML使用Azure的可能方法是什么？
浏览 2提问于2016-03-21得票数 0
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。
术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。
Hadoop也做了同样的事情。我们有存储的HDFS和用于计算的MapReduce。我对Hadoop和数据湖有点困惑。两者之间的区别是什么。如果它们是相同的，为什么会出现这个词。或者如何定义数据湖。
浏览 8提问于2016-03-14得票数 16
我在Azure数据湖存储中有一个.csv文件，每当.csv文件加载到数据湖存储中时，我是否可以使用函数应用来触发Azure数据工厂(ADF)事件。当前的ADF支持blob存储的事件，但不支持数据湖。 谢谢，拉维
浏览 12提问于2019-05-25得票数 0
2回答
列名映射错误。
、、、、
我试图使用azure数据工厂从on数据湖中提取/加载数据到蔚蓝数据湖。
我只是想查询一下所有的列。我的水槽是蔚蓝数据湖Gen2。
但是我的列名在源和库上都是错误的。
我在on-prem数据湖中的列名类似于user_id、lst_nm等，但在Azure中，它就像、等，这里的user_tbl是我的表名。
我不希望将表名添加到列中。
浏览 14提问于2022-02-23得票数 0
我将数据上传到Azure Databricks，可以看到DBFS列表中有数据集，但在Databricks所属的资源组中找不到任何数据集。
数据集存储在哪里？
此外，如果我创建达美湖，如何从Azure数据工厂调用Delta湖？我看不出三角洲湖存放在哪里。
浏览 11提问于2022-04-14得票数 0
回答已采纳
我正在使用flink从Azure数据湖中读取数据。但flink无法找到Azure数据湖文件系统。我已经实现了spark来读取Azure Data Lake文件系统文件。
因此，我尝试从flink中触发火花，从Azure数据湖中读取数据，并执行一些逻辑操作，然后将列表返回给flink。所以flink可以使用这些数据？
是否可以从flink触发spark作业？或者如何配置flink来理解Azure数据湖文件系统。有人能在这方面给我指点一下吗？
浏览 2提问于2017-07-11得票数 0
1回答
目前，在我的组织中，我们持有弹性搜索中的半结构化数据，我们使用查询进行快速文本搜索和聚合，但是我们有其他产品在其他数据库中，所以我们希望将所有的数据放在像HDFS这样的数据湖中。
因此，如果我使用HDFS作为一个数据湖来保存原始数据，那么如何使用弹性搜索呢？我指的是在使用之前的弹性搜索索引数据，那么是否可以将数据保存在数据湖中，然后弹性搜索就可以直接从数据湖查询数据，而不需要将数据存储在弹性中？或者我会把数据保存在数据湖中，然后处理它，然后再用弹性存储它，这样它就可以索引它了吗？
总之，我想知道弹性和hadoop干涉的概念。
浏览 3提问于2022-11-21得票数 0
我们将在我们的数据湖项目中完成摄入阶段，在我的Hadoop开发经验中，我主要使用了hadoop fs -put。那么，hadoop distcp和用法有什么区别呢？
浏览 1提问于2017-03-30得票数 7
回答已采纳
1回答
我一直困惑着是要创建一个数据湖还是一个数据仓库，希望一些有经验的现实世界的专业人士能给我一些启示。
我想用我从多个来源(IoT设备、API等)摄取的数据来存储、可视化和执行机器学习。我读到，在我们所处的当前环境中，企业将同时需要数据湖和数据仓库。
我的问题是：
我是否应该先创建一个数据湖，然后从湖中转换/处理这些原始数据，并将其摄取到数据仓库中？
还是数据湖本身是一个独立的数据处理管道？
还是这取决于用例？
这就是我一直在想的：
📷
PS:如果这是错误的StackExchange，请告诉我，谢谢:)
浏览 0提问于2022-05-13得票数 2
回答已采纳
2回答
将数据池与已删除的记录同步
、、、、
我正在建设的数据湖，以集成多个数据源的高级分析。
在开始时，我选择HDFS作为数据湖存储。但是我有一个更新和删除数据源的要求，我必须与数据湖同步。
要理解Data的不可变性质，我将考虑数据源中的LastModifiedDate，以检测该记录是否已更新，并将该记录插入数据湖中具有当前日期。这样做的目的是用最大值(日期)选择记录。
但是，我无法理解
我将检测删除的记录从来源和我将做什么与数据湖？
我应该使用诸如Cassandra之类的其他数据存储并执行delete命令吗？恐怕它会失去不可改变的财产。
你能建议我在这种情况下的良好做法吗？
浏览 2提问于2018-04-06得票数 1
1回答
我在工作中遇到了一个项目的问题。我的任务是创建一个数据库(我有)。我的问题是我需要为其创建数据库的文件有时相互依赖。
例如，我的文件名为湖人，现在在湖人内部，我可以看到它正在使用其他文件，如科比和沙克。现在科比和沙克也依赖于其他文件，比如费舍尔和WorldPeace等等。我在这个项目中使用了MySQL，PHP和Javascript，总共有1.8 GB的文件。我的问题是，最好的开始方式是什么？
如何在PHP中显示这些文件是相互依赖的，就像我描述的那样？任何形式的建议都会有帮助。
浏览 1提问于2015-08-05得票数 0
1回答
我是AWS新手，来自ETL背景的数据仓库。我们目前正在使用AWS服务数据湖向云移动，并尝试使用sqoop作业将数据从外部源关系数据库管理系统(Bucket)加载到亚马逊s3登陆层(Bucket)，然后使用Informatica将数据加载到亚马逊S3中的不同层(桶)。
从外部源系统获取数据的频率为每天。我不知道如何在S3中实现Delta /SCD类型。在亚马逊的S3桶中创建对象之后，是否有可能更改它，或者我们是否必须继续在s3桶中作为对象创建日常负载的副本？
我知道亚马逊为我们提供了数据库选项，但我们被指示将数据加载到Amazon中。
浏览 1提问于2018-10-21得票数 1
回答已采纳
2回答
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。
在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。
但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在当前的申请流程中，我遗漏了什么东西吗？
我可以使用Power直接从Azure数据湖获取数据，因此不需要数据仓库。我说的对吗？
我可以在Azure数据湖创建一个数据库，那
浏览 1提问于2018-03-15得票数 3
回答已采纳
2回答
我正在尝试在一个与业务相关的应用程序中实现数据网格概念。让我先描述一下： 已经使用数据HDFS、hive和cassandra_database来管理数据。 1:据我所知，在数据网格概念中，多个数据库、内部数据、数据湖和数据仓库连接在一个点上，分布这些数据。在这里，每个数据仓库、数据湖或数据库都是一个数据网格节点。对于数据网格，这个整体概念是否正确？ 2:如何在我的项目中实现，我正在尝试使用graphDb数据库，因为它支持作为主节点和工作节点(存储库)的另一个数据库的集群连接。 3:可以使用graphDb以外的其他平台进行检查吗？像neo4j一样，这是可能的吗？ 任何人都可以在我的项目或任何参
浏览 16提问于2020-04-28得票数 2
对于分析/报告特定项目，我需要将Web API响应中的数据摄取到Azure SQL表/ Azure数据湖中。我对使用WebJobs和DataFactory进行数据摄取感到困惑。
我应该使用Azure SQL表还是Azure Data Lake？
浏览 10提问于2017-02-16得票数 0
回答已采纳
我编写了控制台应用程序来监控/分析Azure数据湖存储中的文件。我在Azure活动目录中创建了一个应用程序来访问azure资源。我遵循了给出的所有步骤，让能够访问蔚蓝数据湖存储上的应用程序。我提供了对父目录和数据湖存储的所有幼童文件夹/文件的访问权限。
现在，我可以通过我的代码访问文件。我试图通过在代码中使用DataLakeStoreFileSystemManagement Client获取USQL作业在数据湖存储中生成的文件的修改时间和过期时间。我正在使用微软提供的.NET API进行数据湖分析和数据湖存储。
我正在为我提供访问的文件获取所有这些信息。但是，当usql作业在蔚蓝数据湖存储中添
浏览 1提问于2018-01-30得票数 0
2回答
有没有一种方法可以让我从流分析输出到数据湖，并使用aad应用程序或其他东西，而不是我的帐户，用于写入到数据湖？让用户作为数据湖的写入者是不切实际的。
浏览 3提问于2018-06-19得票数 0
我是Azure数据湖的新手。 下面的屏幕截图有2个文件夹(Storage Account和Catalog)，一个用于Datalake分析和其他数据湖存储。 我的问题是，为什么每个文件夹的目的是什么，为什么我们使用U-SQL进行转换，而这可以在数据工厂中完成。 请解释从数据存储到数据湖的数据流过程。 enter image description here 谢谢你，艾迪
浏览 18提问于2019-02-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
