我的工作是在雪花中创建数据湖，来源是Oracle DB。将数据从Oracle DB采购到Snowflake的最佳方式是什么？
浏览 3提问于2021-09-20得票数 0
另外，云数据库和自己买一台云主机安装mysql有什么区别呢地址：https://cloud.tencent.com/act/season?
浏览 250提问于2018-03-12
2回答
(Azure)数据湖的元数据管理
、、、、
据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？是否有任何自动读取元数据的机制(例如，从头文件中读取)，如果有，是否有任何方法来查看和编辑此元数据(可能是编程实现的API )？我担心，如果没有适当的管理，“湖”
浏览 4提问于2017-03-27得票数 3
1回答
数据湖如何存储数据和格式？
、、、、
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
我正在从事一个数据湖项目，我使用(编写pyspark代码)用于ETL，使用Azure DevOps用于CICD和源代码管理。我注意到了Devops中的测试计划:我的查询是，我可以使用测试计划进行数据湖测试吗？我浏览过与网络浏览相关的测试计划，但没有发现任何与数据湖、数据库或数据仓库相关的计划。
浏览 3提问于2020-01-19得票数 0
在缺乏DML的情况下(目前还没有充分利用三角湖)，我正在寻找方法来管理Data中的静态/固定内容维度(即性别、OrderType、国家)。理想情况下，这些维度中的模式和数据将由非技术人员管理，但在这一点上，我只是在寻找技术上支持这个概念的开发模式，而不是能够使用DML。最好有源的历史记录(谁在这个维度中添加了10行？)
浏览 4提问于2022-08-04得票数 0
azurerm_storage_data_lake_gen2_filesystem.example.name“或"azurerm_storage_data_lake_gen2_filesystem.example.id”的数据源
浏览 15提问于2022-05-05得票数 0
我们需要基于一个水标列来递增地查询这些数据，并且它必须被加载到Azure数据湖容器中，进入原始层，然后再加载到管理层。在原始层中，文件应该包含整个数据(满载数据).So，基本上我们需要附加这些数据并作为一个满载导出。我们是否应该使用Databricks Delta湖表来处理这个需求。如何将数据插入到达美湖表。
浏览 4提问于2022-10-25得票数 0
我对德尔塔湖的交易记录有点疑惑。文档中提到，默认保留策略为30天，可以通过属性-：delta.logRetentionDuration=interval-string进行修改。但是提到，真空操作只会删除数据文件，不会删除日志。但是它会删除超过指定日志保留时间的日志吗？
参考-：
浏览 2提问于2020-12-29得票数 1
7回答
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<
浏览 8提问于2016-03-14得票数 16
2回答
我的web应用程序存储使用数据，例如：执行的任务等等，我需要显示仪表板和报告的使用和性能趋势，例如：平均任务执行时间是多少？数据来自具有特定数据模型的关系数据库。
有人要求我创建一个数据记录，只是给他我所有的原始数据。我不明白这张照片里有什么数据。没有模型和关系，我的数据是无用的。而且，我没有事件流:我在关系数据库中有表。例如，“任务”表中的一行将有“打开时间”列和
浏览 0提问于2018-11-04得票数 1
2回答
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0提问于2019-08-20得票数 3
我正在尝试从AWS湖编队控制台设置一个数据集。我按照下面的资源进行同样的操作：对s3的湖形成许可不足：
有人能帮上忙吗
浏览 0提问于2020-09-15得票数 10
我正在研究几种“事务性数据湖”技术，如Apache、Delta、AWS格式治理表。您发现的任何轶事或性能限制都将不胜感激！
浏览 1提问于2021-10-16得票数 3
我需要将数据从Azure SQL托管实例作为json文档导出到数据湖存储。我必须使用来完成这一任务。我尝试使用灵活的文件目标数据流任务，但是当我看到支持的文件格式时，不支持json。
浏览 3提问于2022-04-11得票数 1
希望在订阅/帐户中注册所有数据源，但是缺少"Azure (多个源)“选项。其他来源(HIVE、SAP、AWS S3)也是如此。
浏览 2提问于2021-01-19得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
