湖仓一体实践 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何从Azure数据湖转换，将数据按日期文件夹分区到delta湖

azure、azure-data-factory、azure-data-lake、delta-lake

我拥有一个由datetime嵌套文件夹划分数据的蔚蓝数据湖gen2。我想向我的团队提供增量湖格式，但是我不确定我是否应该创建一个新的存储帐户，将数据复制成增量格式，或者将当前的蔚蓝数据湖转换为增量湖格式是否是最佳实践。有人能提供关于这件事的任何建议吗？

浏览 2提问于2022-08-09得票数 0

回答已采纳

1回答

您能在Databricks中挂载多个ADLS2实例吗？

azure-databricks、azure-data-lake、delta-lake、azure-data-lake-gen2

为数据湖/三角洲湖体系结构设置DEV/TEST/PROD环境的最佳实践是什么？对于每个DEV/TEST/PROD，您有一个单独的ADLS2实例吗?还是在一个ADLS2实例中托管这三个实例？

浏览 6提问于2022-06-03得票数 1

2回答

(Azure)数据湖的元数据管理

azure、metadata、azure-data-lake、database-metadata、data-lake

据我所知，数据湖解决方案用于存储从原始格式的原始数据到经过处理的数据。不过，我还不能理解(Azure)数据湖中的元数据管理的概念。在数据湖中处理元数据的最佳实践是什么？我担心，如果没有适当的管理，“湖”只会变成“数据坟墓”。一种解决方案可能是创建一个自己的数据库，我自己在其中存储每个文件的元数据。还有其他更先进的方法吗？

浏览 4提问于2017-03-27得票数 3

1回答

如何删除额外的文件时，沉没CSV文件到蓝天数据湖Gen2与蓝天数据工厂数据流？

azure-data-factory

接收器当前创建了4个文件到Azure数据湖Gen2。我想这与HDFS文件系统有关。什么是最佳实践？是否应在保存到数据湖gen2后将其删除？

浏览 0提问于2021-09-24得票数 0

5回答

有没有检查html质量的工具？

html、standards

有没有一体式的检查工具？也许它可以检查一些html标记的最佳实践。

浏览 0提问于2010-01-21得票数 4

回答已采纳

1回答

如何在python opencv中使用阈值来识别视频的镜头边界？

python-3.x、opencv

我想实现镜头边界检测的代码。差异度量是绝对二进制直方图差异的总和。如果连续帧之间的直方图差异超过阈值，则声明镜头边界。但我无法实现它。如果有人能在这方面帮助我，那就太好了。

浏览 45提问于2019-09-27得票数 0

回答已采纳

4回答

通过Javascript regex选择所有不是特定单词的单词？

javascript、regex

纳姆拉库斯湖，在条件和条件下，累积无无。乌贼，乌贼。在维里特，三位一体的不，港口在紫色。长春花，非苏打水，非苏铁。Nullam augue neque，lacinia quis commodo a .库拉比图尔·欧盟的三位一体。

浏览 6提问于2011-12-02得票数 2

回答已采纳

4回答

为什么在for循环中声明int是错误的做法？

c++、c、for-loop

在我大学的c++课程中，我习惯了在for循环中声明int的实践，比如：{ } 但是现在我正在上机电一体化课，我们用c和Arduino

浏览 6提问于2021-02-19得票数 3

2回答

基于事件的系统中的消息格式

messaging、event-sourcing

我试图了解定义信息的最佳实践，我有几个高层次的问题。似乎我们所有的消费者都需要信息的不同方面。这是否意味着消息格式最终会成为每个分布式系统所需要的一切的统一体？是否有任何最佳实践可以帮助确定我是否需要与我的表看起来很接近的消息，还是更高级别的消息？似乎每当我定义一条消息时，它都与我的数据库模式紧密相连。

浏览 0提问于2018-08-23得票数 0

回答已采纳

1回答

可靠的服务结构和I/O操作

azure、azure-service-fabric、reliable-actors

或这是否意味着最佳实践是Actor不应该在Service之外进行任何I/O操作？例如:一些REST或写入某种DB、数据湖或事件集线器。

浏览 0提问于2018-10-30得票数 1

回答已采纳

2回答

静态实用程序方法不是纯面向对象编程吗？

java、oop、static-methods

人们说，真正的OOP将在物体意义上模拟真实世界，将状态和行为封装为一体。如果是这样的话，在现代OOP中，根本不使用静态实用方法是最好的实践吗？还是说使用它们仍然很常见？

浏览 3提问于2015-09-04得票数 3

回答已采纳

1回答

将批处理数据合并为数据池中的增量格式，使用synapse和pyspark吗？

pyspark、azure-synapse、delta-lake、azure-data-lake-gen2

目前，我有一个数据湖，在数据湖的青铜层中有几个每日间隔数据表。他们是以csv格式和定期新的每日csv表被摄取到青铜文件夹。我想转换它们，例如编辑一些行，更改列名，并在银层中保存为delta格式。在使用Synapse分析和火花放电时，最佳实践是什么？到目前为止，我已经使用synapse笔记本进行转换了，但是由于我的有限的电火花知识，我只能清理数据，并以delta格式保存每个每日表。

浏览 3提问于2022-07-09得票数 0

回答已采纳

1回答

从XCTest中的其他测试用例中调用测试用例

ios、xcode5、xctest

我想不出为什么这是行不通的，但我想知道这个世界是怎么想的，这是否被认为是一种良好的实践。

浏览 1提问于2014-02-22得票数 3

回答已采纳

2回答

用数据库从Azure数据湖读取avro数据--由Azure EventHubs捕获生成的EventHubs失败

azure、pyspark、azure-eventhub、azure-databricks、azure-eventhub-capture

我正在尝试从Azure数据湖Gen1中读取avro数据，该数据是从Azure EventHubs生成的，Azure事件集线器捕获是在Azure数据库中启用的： inputdata = "evenhubscapturepath是否有任何最佳实践来读取EventHub捕获的数据与火花？

浏览 3提问于2019-12-01得票数 1

回答已采纳

1回答

S3性能最佳实践

amazon-web-services、amazon-s3

我们在亚马逊网络服务S3上创建了一个数据采集，目前我们只使用了一个存储桶，我们的数据湖由一些区域划分:S3://存储桶/着陆/主题/表S3://存储桶/原始/主题/表S3://存储桶/精炼/主题/表S3://存储桶/暂存/主题/表因此，我正在阅读有关s3性能最佳实践的文章，一些人建议将数据记录划分到不同的存储桶中，对于特定情况，将一个存储桶用于大表。我们的数据

浏览 1提问于2020-11-30得票数 1

1回答

如何同步星火会话上的外部数据库

apache-spark、delta-lake

我在s3桶上有一个三角洲湖。因为我想使用Spark的SQL，所以我需要同步达美湖和本地星火会话。有没有一种快速的方法可以让所有的表都可用，而不必为每个表创建一个临时视图？table_3').createOrReplaceTempView('table_3') 我想知道是否有一种更快的方法可以让所有的表都可用(不需要使用boto3和迭代文件夹来获取表名)，或者我是否没有遵循最佳实践来使用

浏览 5提问于2022-10-13得票数 0

回答已采纳

1回答

Spark将检索到的数据保存在Azure数据库的哪里？

azure、apache-spark、azure-databricks

假设我从Azure数据湖(ADLS Gen 2)读取csv数据，如下所示：我知道火花中的read但是，现在如果我使用Action方法执行collect()，我会假设数据现在实际上是由Spark从数据湖读取并加载到RAM或Disk中。首先，我想知道，数据存储在哪里。是在RAM还是在Disk。我想在使用星火时得到一些关于最佳实践的建议。非常感谢您的帮助！！

浏览 0提问于2019-10-08得票数 0

回答已采纳

1回答