数据湖能不能做云计算
数据湖是一种大规模、可扩展的数据存储和分析解决方案，它可以存储来自不同来源的结构化、半结构化和非结构化数据。数据湖可以帮助企业实现数据驱动的决策，提高数据分析的效率和准确性。
数据湖的优势包括：
- 集中式存储：数据湖可以集中存储来自不同来源的数据，方便数据的管理和维护。
- 数据处理能力：数据湖可以处理大量的数据，支持实时和批量数据处理。
- 数据安全性：数据湖可以实现数据的加密和访问控制，保障数据的安全性。
- 数据分析能力：数据湖可以支持多种数据分析方式，包括批量数据分析、交互式数据分析和流式数据分析。
数据湖的应用场景包括：
- 数据仓库：数据湖可以作为企业的数据仓库，存储和管理企业的历史数据。
- 数据分析：数据湖可以支持数据分析和报告，帮助企业做出更好的决策。
- 大数据处理：数据湖可以处理大量的数据，支持大数据处理和分析。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据湖：https://cloud.tencent.com/product/datalake
- 腾讯云数据仓库：https://cloud.tencent.com/product/dw
- 腾讯云大数据分析：https://cloud.tencent.com/product/bigdata
这些产品都可以帮助企业构建数据湖，实现数据的集中存储和分析。
相关·内容
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。
下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。
根据使用的用例/服务，可以使用数据管道、Glue Jobs或AWS Lambda事件触发器来调度作业。
分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行数据查询，或在Sagemaker中为ML应用程序使用数据。
我的问题是，AWS湖的形
浏览 0提问于2019-08-20得票数 3
我正在向学习。它要求创建一个新的hdinsight集群(选项是hadoop、hbase、风暴或火花)以及一个存储帐户。集群和存储帐户之间有什么区别？集群是否包括处理作业的处理器，以及存储帐户是否意味着存储数据的空间？为什么我不能用不同的集群连接相同的存储帐户？
同样在Microsoft >> New >> data + Analytics下，我看到了两个选项: hdinsight，处理大数据的数据湖分析。那两个有什么区别呢？他们俩看起来都很像
HDInsight微软的基于云的大数据服务。Apache和其他流行的大数据解决方案。
数据湖分析大数据分析容易
浏览 5提问于2016-03-18得票数 3
2回答
当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？
浏览 41提问于2019-03-05得票数 5
Azure数据湖是我的数据源。我想将数据从azure数据湖推送到Azure分析服务(SSAS)。我怎么能做到这一点？
浏览 1提问于2016-12-02得票数 1
1回答
我遇到了AWS雅典娜数据湖的问题。它们最初速度很快，但随着我们的扩展，它们的性能很差，而且成本越来越高，效率越来越低。在不减少数据大小的情况下，我们能做些什么来解决这个问题呢？
浏览 0提问于2022-03-26得票数 0
回答已采纳
1回答
Kukreja在“Apache、Delta湖和Lakehouse的数据工程”中说，Kappa体系结构没有数据湖。微软在 (见图)中提到了一家“长期商店”，但没有透露它的实际情况。它使用这些数据来“重新计算”。对我来说，这是一个数据湖。
Kappa体系结构是否使用数据湖？
浏览 10提问于2022-07-21得票数 0
回答已采纳
我们的团队有一个Azure Data Lake Gen2。另一个团队希望将数据输入到数据湖中，但他们不应该能够在数据湖中查看我们的内容。我怎样才能做到这一点？ 我认为部分访问是不可能的，需要为外部团队创建另一个Azure数据湖来放置数据。我说的对吗？
浏览 25提问于2020-09-24得票数 0
我感兴趣的是以分散的方式计算医疗数据，在这种方式中，没有一个计算资源或请求者可以为了隐私考虑而完全访问这些数据。
在此模式中，当选的服务人员(分散计算机)使用公共算法计算部分原始输入数据。计算的数据最终被传送到请求者。
据我对EVM的理解，输入的数据和算法都存储在块链上，这极大地限制了可用的计算资源，不必要地扩展了块链的大小。
之后不久，我发现了云母计算市场，它看起来对我的应用程序来说更有趣。
由于我仍然对EVM的真正含义感到困惑，我想知道我是否可以使用它来：
计算从数据湖云发出的加密数据
使用类似GPG的方法加密结果。
将结果发送到云服务器上。
浏览 0提问于2017-12-04得票数 1
我想要完全迁移所有的表从azure SQL数据库到azure数据湖。我怎么能做到这一点。请给我一些场景，这样我就可以完全搬到天蓝色的数据湖。提前谢谢。
我也可以通过SSIS做到这一点吗？
浏览 1提问于2016-10-21得票数 2
我们希望使用数据流从Pub-Sub流式传输PubSubmessage(json字符串)，然后写入云存储。我想知道在将数据写入云存储时，什么是最好的数据格式？我进一步的用例可能还涉及使用Dataflow再次从云存储读取数据，以便根据需要继续操作到数据湖。我在想的几个选项如下：
a)使用Dataflow将自身作为json字符串直接写入云存储？我假设云存储中的文件中的每一行都被视为一条消息，如果从云存储读取，然后处理到Datalake的进一步操作，对吗？
b)使用Dataflow将json转换为文本文件格式，并保存在云存储中
c)还有其他选择吗？
浏览 3提问于2018-08-02得票数 0
我正在寻找一种最佳的编程方法从Azure数据湖提取数据到MSSQL数据库，MSSQL数据库安装在Azure中的VM上。
目前，我正考虑下列方案：
SSIS ()
用户定义的输出，
读取Azure数据湖数据并将其插入Server的自定义C#代码
还有其他我错过的好方法吗？
浏览 3提问于2017-12-21得票数 0
我们有可以查询数据的三角洲湖。我们还将其与Power连接，以制作交互式仪表板。正在生产中。现在，我们希望使用Azure权限来利用这个三角洲湖之上的所有数据治理和数据目录。
我们遵循了这个正式的并完成了所有的步骤。正如你可以从下面的截图中看到的，我们能够连接两个世界。
现在，当我们启动扫描时，它会显示一个错误，错误：(3913) JavaException:必须安装了Java 8或更高版本。
在具有集成运行时的Windows中，我们安装了Java，将其添加到系统路径中，同时还添加了JAVA_HOME作为系统变量
下面是确保我们有Java的Windows VM的屏幕截图：
ja
浏览 4提问于2022-08-09得票数 0
回答已采纳
我想使用C#编写从事件中心到数据湖存储的事件，而不使用流分析。
我们可以在BLOB中写入，但是我们如何在数据湖中写入。
浏览 0提问于2017-06-09得票数 0
我所在的公司正在启动我们整个DWH的重新设计过程。其想法是迁移到云解决方案，并使用数据湖概念。从湖中，数据应该被传递到一个3NF DWH，最后，通过市场最终用户。
这些集市的目的将是多种多样的。从报告到会计和培训ML模型。
我有机会在设计这些市场的过程中扮演重要的角色，但我从来没有这样做过。
你对从哪里开始有什么建议吗？一本书，一篇文章？
我希望这是提出这样一个问题的正确地方，并感谢你的贡献。
浏览 0提问于2021-02-08得票数 -1
回答已采纳
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
我有很多相机、雷达和激光雷达数据以rosbag格式存储在硬盘中。现在我想把它转移到一个云服务上，最好是尽量保留rosbag格式。
据我所知，在数据湖中，您可以以数据的自然格式存储数据。是否也限制了datalake支持的格式。
任何帮助都是非常感谢的。
浏览 2提问于2019-05-08得票数 0
关于不同Azure存储服务的用例，我有一个问题：
Azure数据湖存储。
Azure Blob储藏室
Azure文件存储。
这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。
浏览 2提问于2019-02-07得票数 18
每当文件被复制到数据湖中的文件夹中时，我希望执行Azure Synapse管道。
我们能做到这一点，我们如何才能做到这一点？
谢了帕文。
浏览 2提问于2022-05-11得票数 0
回答已采纳
1回答
如果您有一个具有复制数据活动的管道，该管道将数据从copies服务器复制到蔚蓝数据湖存储帐户，则选择某种形式的压缩。
压缩发生在哪里？是通过互联网传输到云的数据，然后进行压缩。或者它会被自我托管的集成运行时压缩到prem上？
浏览 5提问于2019-12-16得票数 0
回答已采纳
2回答
我正在探索Azure数据湖，我是这个领域的新手。我探索了很多东西，读了很多文章。基本上，我必须从不同来源的数据开发Power仪表板。
在典型的Server栈中，我可以编写一个ETL (提取、转换、加载)进程，将我的系统数据库中的数据导入数据仓库数据库。然后利用SSAS等技术，利用Power实现数据仓库。
但是我想使用Azure数据湖，我探索了Azure和Azure ( use )。我绘制了如下的架构图。
在当前的申请流程中，我遗漏了什么东西吗？
我可以使用Power直接从Azure数据湖获取数据，因此不需要数据仓库。我说的对吗？
我可以在Azure数据湖创建一个数据库，那
浏览 1提问于2018-03-15得票数 3
回答已采纳
我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。我设法在Azure中安装了包nptdms，并运行了下面的代码行
从nptdms导入TdmsFile
但我不知道如何在第二个代码行或第三个代码行中给出值path_to_file。
tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：
它不起作用。我相信nptdms包只是为就地编写的，它不适用于云语法。
我想知道有谁能在Azure平台上分享阅读tdms.files的经验。
浏览 14提问于2021-07-05得票数 0
我在一个管道上工作，其中我们的数据源是存储在Azure数据湖中的csv文件。我能够使用get meta data和每个活动来处理所有的文件。现在我需要查找Azure数据湖中可用文件的数量？我们怎样才能做到这一点。我在Get Meta Data活动中找不到任何itemcount参数。我注意到For each活动的输入包含一个itemscount值。有什么方法可以访问这个吗？
你好，桑迪普
浏览 18提问于2020-02-14得票数 1
回答已采纳
我正在尝试用with循环将数据发送到数据湖。
基本上，目的是在从Azure服务总线接收数据时，使用以下代码不断循环代码并将数据发送到数据湖：
此代码从我的服务总线接收消息
def myfunc():
with ServiceBusClient.from_connection_string(CONNECTION_STR) as client:
# max_wait_time specifies how long the receiver should wait with no incoming messages before stopping receipt.
# D
浏览 2提问于2022-02-26得票数 0
回答已采纳
让我来解释一下这个问题。我有一个magento项目与300万个产品和超过600万个网址。问题只出在数据库上，因为有这么多的产品。我只想自动缩放谷歌云sql数据库。然后，它总是会做出足够的响应。我知道这是有可能的谷歌计算引擎，这也包括数据库。那么，谷歌或其他云sql提供商有可能做到这一点吗？
浏览 0提问于2016-01-16得票数 2
2回答
我有每秒从传感器到Azure IoT集线器的JSON数据。数据是由15个变量组成的时间序列。我想使用c#应用程序实时处理此数据，该应用程序相当复杂，并将输出事件发送到其他服务(可以是存储或PowerBI)。您认为最好的架构方法是什么? 1.尝试使用c#代码处理流分析中的数据，我知道.Net支持天青流分析，但我认为还为时过早？有这种方法的经验吗? azure流分析是否支持复杂的c#算法? 2.将数据存储到azure数据湖并使用数据湖分析来处理数据？
非常感谢您的经验和建议。非常感谢
浏览 0提问于2017-07-05得票数 0
1回答
希望你们都做得很好。这个问题与Azure数据工厂和SOAP API相关。
例如，我在SOAP API中通过WSDL url ()获取数据。这些数据将通过ADF存储在Azure数据湖中。我已经在网上尝试了几种方法，但都不能做到。
任何建议都将不胜感激。非常感谢你提前这么做。
浏览 3提问于2021-06-11得票数 0
我正在尝试使用mayavi和tvtk来计算非结构化网格的体积。我的想法是通过Delaunay3d过滤器对点云进行四面体优化。然后，我需要以某种方式从这个数据集中提取四面体，同时忽略其他单元类型，如直线和三角形。但是我如何才能做到这一点呢？到目前为止，我的Python代码如下所示：
import numpy as np
from mayavi import mlab
x, y, z = np.random.random((3, 100))
data = x**2 + y**2 + z**2
src = mlab.pipeline.scalar_scatter(x, y, z, data)
f
浏览 2提问于2014-01-13得票数 0
我们希望使用Databricks在Azure数据湖中生成平面文件，作为Power仪表板的数据源。我们选择将它们作为Parquet文件生成，Databricks生成多个文件。问题是，我们无法找到一种方法让Power BI将其用作源：
如果我们使用Parquet连接器，您必须指定一个特定的文件。不允许将源更改为文件夹位置。使用文件夹源的无法工作，因为它需要绝对路径，而不是URL。只有删除数据库生成的_committed_和_started_前缀文件时，使用Azure数据湖连接器的才能工作。这是行不通的，因为我们需要每晚重新生成数据文件，以便仪表板更新.
我们怎样才能做到这一点？谢谢!
浏览 1提问于2022-02-02得票数 0
一位朋友的公司正在开发一种数据架构，对我们来说，它似乎相当复杂，并且存在一些可伸缩性和成本问题。
如果可能的话，我想征求您对旧的和建议的体系结构(或备选方案)的意见，讨论它们的优点和缺点，并可能发现不可预见的问题/限制。
当前架构- Azure Stack
摄食层
多源通过Azure数据库存储到Azure数据湖Gen2
处理层
Azure数据库清理数据并将其存储回Azure数据湖Gen2中:原始的、干净的
加载层
使用instanceAzure Azure数据库将数据加载到Azure Server中，使用 Synapse作为Azure Server和Azure Analysis 之间的层
浏览 5提问于2021-12-10得票数 0
2回答
在亚马逊S3中实现CDC
、、、
我对云空间还是个新手。作为我们当前项目的一部分，我们正在尝试在亚马逊S3存储桶中创建一个数据湖。将会有另一个S3层，它将包含在上一层中发生的CDC。架构团队建议使用Talend或Streamsets。有没有其他方式可以实现从S3到另一个S3 bucket的CDC？
浏览 1提问于2020-01-30得票数 0
我是亚马逊网络服务的新手，我正在尝试通过以下方式在亚马逊网络服务上部署模型数据湖解决方案：
要部署云形成模板，它需要一个访问IP地址。此处需要的IP地址是多少？这是我用来连接到AWS的机器的IP地址吗？我是通过DHCP网络连接的，因此IP地址将在下次连接到网络时更改。
如果有人能澄清这一点，我将不胜感激。
浏览 4提问于2018-05-01得票数 0
2回答
我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：
使用融合云与Apache需要订阅合流和付费( )
使用Azure VM与汇流集线器安装汇流平台
目前，我不愿意支付合流许可，也不想测试合流包(越来越多的包装和箍)
是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？如果是，我们如何实现这一点，任何有用的信息共享？
浏览 4提问于2021-06-08得票数 1
我在通过REST API刷新Power BI数据集时遇到问题。
每当我尝试执行dataset刷新API时，都会收到此错误：
上次刷新失败：...没有可用的网关。
我在两个账户上测试，这只发生在其中一个账户上。
更令人困惑的是，我使用的存储是基于云的(Azure数据湖)。所以它不需要网关连接。当我手动刷新数据集时，它可以正常工作。
当我获得更多investigationI的刷新历史记录时，获取以下内容：
serviceExceptionJson={"errorCode":"DMTS_MonikerWithUnboundDataSources"}
我需要任何人的帮助
浏览 51提问于2020-06-10得票数 0
回答已采纳
1回答
我想验证Azure数据湖中被Azure data摄取的数据。
我如何验证？作为验证过程的一部分，我可以做哪些不同的验证？
浏览 0提问于2019-03-10得票数 0
回答已采纳
问题陈述是给出了一个感兴趣的区域。
我需要使用NDWI水体索引来查找多边形边界区域中的所有湖泊，这些湖泊的高度超过1500米。然后在Google Earth Engine中以表格形式显示从1984年到2018年两年一次的湖面水面积的变化。我使用了陆地卫星5号和7号数据。
我创建了以下代码：
现在我需要在多边形标记区域中以如下格式显示结果：-行-( 1号湖，2号湖，3号湖...n)湖柱-(1984年的表面积，1986年的表面积，....2018)
我该怎么做呢？
浏览 4提问于2019-06-19得票数 0
我需要上传WEB响应文件到Azure数据湖。然后，我必须将这些文件转储到Azure SQL表中。
以上两个进程都必须按每小时执行一次。是使用Azure Web作业还是Azure函数？
浏览 4提问于2017-03-16得票数 4
回答已采纳
我正在浏览微软的文档：
我刚接触过Azure Data lake和HDInsight。URL中有一条语句告诉您
"Azure Data Lake Store can be accessed from Hadoop (available with HDInsight cluster) using the WebHDFS-compatible REST APIs."
根据我的初步理解，数据湖存储是一个可以存储任何类型的数据的存储。我认为，HDInsight也做了同样的事情。
我的问题是，Azure Data lake和Azure HDInsight之间的区别是什么？如果HDIns
浏览 7提问于2018-06-04得票数 12
1回答
最近我发现了数据湖世界，我计划用ADL建立一个数据湖。我不确定的一件事是数据湖应该如何跟踪随时间变化/处理与源不同版本的更改。
我遇到过这样的站点，声称数据湖按原样提供数据，其他状态是数据应该是时间戳，或者文件夹结构应该反映时间戳。
不管怎样，有什么最佳做法吗？
干杯!
浏览 0提问于2019-07-24得票数 0
回答已采纳
我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。
我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。
有人能提供关于这件事的任何建议吗？
浏览 2提问于2022-08-09得票数 0
回答已采纳
我正在研究IoT解决方案，其中有多个传感器正在发送数据。我有一个工作，听事件中心，获取IoT传感器数据，并存储在三角洲湖表。(底层Azure ADLS Gen-2存储格式为拼花文件格式)
我必须在UI上显示传感器数据(自定义UI -在React中开发)。为此，我在.NET核心API / Node中开发了API层。
因此，最后，我必须查询在数据块中创建的Delta表来检索传感器数据--使用Node / .NET核并在UI上显示它。如何从三角湖表的C# /中查询数据？
浏览 5提问于2022-05-05得票数 0
我目前正在使用数据工厂将实体从Dynamics 365批量复制到Azure数据湖。实体每24小时保存为数据湖中的CSV文件。 我希望将实体截断为新数据，并附加到数据湖中已经存在的文件中，而不是批量复制。 我认为这是SQL数据库的常见操作，但这可以在Dynamics 365和数据湖之间完成吗？
浏览 14提问于2019-05-01得票数 1
2回答
我试着阅读了很多关于databricks delta lake的资料。据我所知，它为您的数据存储增加了ACID事务，并通过增量引擎提高了查询性能。如果是这样，为什么我们还需要其他不支持ACID事务的数据湖呢？Delta lakes声称将数据湖和数据仓库这两个世界结合在一起，我们知道，由于它目前对操作的支持，它还不能取代传统的数据仓库。但它应该取代数据湖吗？为什么需要两份数据副本-一份在数据湖中，另一份在德尔塔湖中？
浏览 21提问于2020-07-30得票数 0
回答已采纳
2回答
我是这个Azure数据湖世界的新手。我正在寻找任何必要的先决条件和注意事项，以便使用蔚蓝数据湖.我找到了一个很好的链接，并发现安静有用。
现在，我不确定的一件事是数据保持策略在数据湖中。有些人说数据不应该从数据湖中删除/清除，而很少有人有不同的看法。
因此，在任何数据湖中，对于数据保留策略(归档、清除)，我们是否需要遵循特定和基本的考虑？我知道用例将是这方面的决定因素，但在作出决定之前，是否有任何高层次的考虑因素，是我的问题。
谢谢,
浏览 1提问于2017-02-19得票数 2
回答已采纳
1回答
即使经过很多资源，我也不明白什么是湖房，所以我想问一问。
如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？
或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？
请澄清。
浏览 0提问于2021-06-18得票数 1
回答已采纳
我想使用azure数据工厂从on提取数据到蔚蓝数据湖gen2。我已经在我的本地系统中安装了一个Integration运行时，并添加了一个system服务器作为Integration的链接服务器，并且能够成功地提取数据。
现在，我想在Azure虚拟机中安装Integration，并将我的on服务器添加为一个链接的服务并拖动数据。
我能做这个吗？
浏览 8提问于2022-02-03得票数 0
回答已采纳
2回答
我有以下问题。我需要从ADLS(Azure数据湖存储)源复制到接收器ADLS，但只复制最新的文件。每小时，到达源的一个.csv文件，这个文件必须被复制到宿数据湖。例如：
event: Hour1 - file_01.csv到达源。任务:复制file_01.csv以接收数据湖。event: Hour2 - file_02.csv到达源。任务:复制file_02.csv以接收数据湖。诸若此类。
有没有办法创建一个基于事件的触发器(新文件到达源代码)？这是我的第一个想法。
另一种方法是创建一个作业，由Azure Data lake analytics运行。在那里我会提取系统的日期和时间(我不知道怎么
浏览 2提问于2018-04-23得票数 0
2回答
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
我正在移动数据到Azure数据湖存储和处理它使用Azure数据湖分析。数据是XML格式的，我正在通过读取它。现在，我想从Azure中访问这些数据，看起来Azure数据湖存储目前还不受直接支持。
用Azure ML使用Azure的可能方法是什么？
浏览 2提问于2016-03-21得票数 0
回答已采纳
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。
术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。
Hadoop也做了同样的事情。我们有存储的HDFS和用于计算的MapReduce。我对Hadoop和数据湖有点困惑。两者之间的区别是什么。如果它们是相同的，为什么会出现这个词。或者如何定义数据湖。
浏览 8提问于2016-03-14得票数 16
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
