我正在使用Delta Lake 0.4.0和Merge，例如： .merge( .whenNotMatched().insertAll()src从包含数千个文件的文件夹中读取数据合并结果也会生成许多小文件。有没有办法控制合
浏览 27提问于2019-11-19得票数 1
我目前正在使用snappy数据集成在azure数据湖上工作，我有一个关于snappy数据的查询，我们是否能够将snappy-data中的数据更新到azure数据湖存储中，或者我们可以仅附加到我在论坛中搜索的azure数据湖存储中，但我无法在它上找到合适的解决方案，如果有人知道该查询，请分享它，谢谢。
浏览 7提问于2017-03-07得票数 3
我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。 我已经尝试过将多个文件压缩为单个文件。getOrCreate()
val df = spark.read.parquet("deltalakefile/data
浏览 16提问于2019-10-13得票数 4
回答已采纳
5回答
Apache Spark SQL是否支持与Oracle的MERGE SQL子句类似的MERGE子句？
浏览 2提问于2017-10-07得票数 8
我们每天在delta lake表(表名: dst1)中加载源文件作为时间序列数据。如果deltalake表不存在，我们将创建一个表。如果表确实存在，我们将合并新数据作为时间序列数据。dtable} d USING df ds ON {jkey} WHEN MATCHED THEN UPDATE SET * WHEN NOT MATCHED THEN INSERT *") 来自day1上的源数据来自day2上的源数据： ? lake table的版本1<e
浏览 20提问于2021-09-23得票数 2
回答已采纳
3回答
我在Azure有一张Delta Lake桌子。我使用的是Databricks。当我们添加新条目时，我们使用merge into来防止重复项进入表中。然而，重复项确实进入了表中。我不知道这是怎么发生的。有什么方法可以检测并删除表中的重复项吗？我找到的所有文档都展示了如何在合并之前对数据集进行重复数据删除。这一次什么也没有，副本已经在那里了。如何删除重复项？
谢谢
浏览 1提问于2020-10-13得票数 0
我们有两个文件，我们想要合并到另一个。这些文件目前在Azure Blob存储中。以下是文件的内容。我们正在尝试获取File2.txt的内容，并替换File1.txt中的‘*’。我已经为此工作了两天，这似乎并不是一件困难的事情。
祝你好运，乔治
浏览 5提问于2022-03-22得票数 1
1回答
在我们的数据管道中，我们从数据源中摄取CDC事件，并将这些更改写入AVRO格式的“增量数据”文件夹中。然后定期运行Spark作业，将这些“增量数据”与当前版本的“快照表”(ORC格式)合并，以获得上游快照的最新版本。1)将“增量数据”加载为DataFrame df1。我注意到，在Delta Lake中，使用以下代码完成了类似的操作：
impo
浏览 1提问于2019-12-25得票数 4
回答已采纳
我目前正在尝试使用Azure Databricks上的Delta Lake处理每天大约4TB的遥测数据。我有一个专门的事件集线器集群，事件被写入其中，我正在尝试通过databricks结构化流媒体将这个eventhub摄取到delta lake中。有一个相对简单的任务，它获取事件中心的输出并提取一些列，然后使用流编写器将其写入ADLS存储，该存储按日期和时间分区挂载到gen2。在databricks
浏览 13提问于2021-02-11得票数 0
2回答
最近，我遇到了一个问题，虚拟机已经耗尽空间并被挂起，重新启动可以修复这个问题，但是当我在SSH中发现数据存储2/vm_ in _问号中有两个大文件(都是delta.vmdk文件)。当我查看VMware控制台中的快照管理器时，我看到了昨天的一个快照(我们的VM备份工具创建这个快照是为了执行每周备份，但奇怪的是，这是另一个问题！)但这是两个合并Helper -0文件下的叶节点。我以前从未见过这些文件，我想知道它们中</e
浏览 0提问于2010-09-24得票数 0
回答已采纳
2回答
Sqoop出口作业失败
、、、、
甲骨文： id1 number, ); create table DB1故障映射:1故障减少:0
18/04/16 17:11:00信息mapreduce.Job:计数器:8个职务计数器失败地图tasks=1启动地图tasks=1 Rack-所有地图在占用槽中的总时间(ms)=4872所有映射任务(ms)=4872总vcore-由所有映射tasks=4872所占毫秒-所有映射tasks=498
浏览 0提问于2018-04-16得票数 0
回答已采纳
每个猎人在尽可能多的不同湖泊中狩猎(来自同一个湖的第二只鸟，只有在他尝试在其他湖泊狩猎成功或失败之后才狩猎)。每一次猎人选择从他正在寻找的那类鸟中猎取一只羽毛最多的鸟。必须通过在标准输出时打印输出数据来公开输出数据。
所有猎人必须并行完成他们的任务。程序中的所有任务和程序本身都必须退出工作。禁止使用时间控制来确保程序停止工作。关于猎人活动的信息，
浏览 2提问于2019-11-18得票数 0
本质上，我需要将“计算代码大小增量”命令的输出包含在对拉请求自动创建的注释中。，然后在注释中使用输出变量。bubkoo/auto-注释操作的输出是：
octokit.reactions.deleteLegacy() is deprecated, see https://developer.github.com并且，注释显示为：“.这是代码增量:对主分支使用git合并基请确保.”。短语“再次使用git合并基
浏览 4提问于2021-07-16得票数 0
回答已采纳
我写了一个块来获取特定目录中的文件数量.然而，当我编织PDF时，它输出“.0文件”而不是“114个文件”。当我在RStudio控制台中复制块的两行时，我得到了正确的数字：[1] 114
我做错了什么？
浏览 1提问于2015-04-15得票数 2
回答已采纳
2回答
结构化流OOM
、、、
我在k8s运算符上部署了一个结构化的流作业，它简单地从kafka读取，反序列化，添加2列，并将结果存储在datalake中(尝试了delta值和parquet)，几天后执行器增加了内存，最终我得到了面向对象模型以kbs为单位的输入记录非常低。附注:我使用完全相同的代码，但使用cassandra作为接收器，现在已经运行了近一个月，没有任何问题。有什么想法吗？我的代码 .readStream .opti
浏览 1提问于2020-05-22得票数 3
我正在将一个PySpark数据文件合并到一个Delta表中。输出增量按日期进行分区。的内容复制到另一个位置后，当使用而不是PATH_TO_THE_TABLE时，上面的查询变得比PATH_TO_THE_TABLE快60倍(即在同一个集群上使用0.5s )。下面是复制增量的命令： "delt
浏览 1提问于2021-12-13得票数 3
我如何组合更多的文件并将延迟添加到所有文件中，以便输出将以静默方式启动？
我试图获取几个mp3文件，并将它们合并为一个mp3文件，并使用ffmpeg延迟。到目前为止，只能合并2个mp3文件，并且只向其中一个文件添加10秒的延迟。
浏览 0提问于2019-05-16得票数 0
回答已采纳
在下面的代码中，我试图将一个dataframe合并到一个delta表中。这里，我将新的dataframe与delta表连接起来，然后转换已连接的数据以匹配delta表模式，然后将其合并到delta表中。 +- Relation[id#854,name#855,
浏览 7提问于2021-02-04得票数 2
回答已采纳
我正在尝试用Spark将一个大的分区数据集写入磁盘，而partitionBy算法正在努力解决我尝试过的两种方法。当我在partitionBy之前使用重新分区时，斯派克将所有分区写成一个文件，即使是巨大的df.repartition('some_col).write.partitionB
浏览 1提问于2018-10-28得票数 23
回答已采纳
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
