1回答
现在，我有一个测试数据，其中有一个分区，在该分区中有两个parquet文件val df = spark.read.format("delta").load("./test1510/table@v1")val df = spark.read.format("delta").load("./test1510/
浏览 12提问于2020-02-03得票数 2
1回答
我正在尝试通过spark java将增量表恢复到以前的版本，我使用的是本地ide .code，如下所示 import io.delta.tables.*;
DeltaTable deltaTabledeltaTable.restoreToTimestamp("2019-02-14") // restore to a specific timestamp 根据文档databricks doc，此处给出的方法在增量核心版本0.8.0中</em
浏览 43提问于2021-04-27得票数 2
根据Databricks的article，将delta lake与AWS Glue集成是可能的。然而，我不确定是否有可能在Databricks平台之外也这样做。是不是有人这么做了？另外，是否可以使用Glue爬虫添加与Delta Lake相关的元数据？
浏览 16提问于2019-10-02得票数 8
我们能够通过在ADF中将增量文件源指定为parquet数据集来读取文件。尽管这会读取增量文件，但它最终会读取增量文件中数据的所有版本/快照，而不是专门选取增量数据的最新版本。
浏览 20提问于2020-01-03得票数 1
我使用Delta lake在我的Glue作业中对我的数据进行更新。我通常将jar文件放在S3中，并在胶水作业中使用该位置。我目前使用的是Delta lake 0.6.1，对于它，我从某个我现在不记得的地方得到了jar文件。问题是它不适用于Spark 3.1。所以我试着为Delta Lake的最新版本找到相同的<
浏览 7提问于2021-11-08得票数 0
回答已采纳
1回答
我是Delta Lake的新手，但我想为Delta Lake中的一些表创建一些索引，以便快速检索。根据文档，它表明最接近的是通过创建数据跳过，然后索引跳过的部分：除了跳过数据之外，似乎找不到创建索引的其他方法
如何在Delta
浏览 2提问于2019-10-24得票数 2
1回答
在我的一个用例中，我使用的是delta lake的change ( CDF )特性，它很适合使用CDF，但是当我读取所有要插入的数据时，它列出了所有版本，是否有一种方法可以只读取最新版本而不指定版本号或获取最新版本return spark.read.format("delta") \
.option(&quo
浏览 7提问于2022-06-05得票数 0
我们每天在delta lake表(表名: dst1)中加载源文件作为时间序列数据。如果deltalake表不存在，我们将创建一个表。如果表确实存在，我们将合并新数据作为时间序列数据。dtable} d USING df ds ON {jkey} WHEN MATCHED THEN UPDATE SET * WHEN NOT MATCHED THEN INSERT *") 来自day1上的源数据来自day2上的源数据： ?
浏览 20提问于2021-09-23得票数 2
回答已采纳
我正在将增量表加载到S3增量湖中。表模式为product_code、date、quantity、crt_dt。我将获得6个月的预测数据，例如，如果这个月是2022年5月，我将获得5月、6月、7月、8月、9月、10月的数量数据。我现在面临的问题是数据每个月都会被复制。我只希望根据最近的crt_dt在delta表中只有一行，如下面的屏幕截图所示。有人能帮我解决我应该实现的问题吗？数据
浏览 9提问于2022-10-11得票数 0
问题摘要：无法通过S3表上的Athena查询数据。我相信，如果帐户启用了Lake，问题就会具体发生。
转到“<e
浏览 14提问于2021-12-09得票数 1
正如我从文档中了解到的，delta允许回滚，或者如他们所说的那样，可以回滚到某个特定版本的表。但是，我如何确保删除数据会在不创建新版本的情况下将其删除？
浏览 38提问于2019-10-01得票数 2
回答已采纳
在我们现有的hadoop代码中，我遇到了两个hdfs函数createSnapshot和snapshotDiff。我们在GCP中有它们的等价物吗？
浏览 3提问于2020-03-05得票数 0
在没有意识到的情况下，shift+enter运行细胞。我正在写一个delete from table，然后按下了shift enter键，这删除了表中的所有数据。
浏览 7提问于2020-08-01得票数 1
我正在不断更新数据库中的Delta表，使用：delta_table.alias("t").merge... # update columns values=... # insert columns稍后，我想使用时间戳查询表的不同版本&
浏览 13提问于2022-11-14得票数 0
回答已采纳
我目前正在探索delta，这是由databricks开源的。我正在读取kafka数据，并使用delta lake格式将其写入为流。Delta lake在从kafka进行流式写入的过程中创建了许多文件，我觉得kafka是hdfs文件系统的核心。 我已经尝试过将多个文件压缩为单个文件。getOrCreate()
val df = spark.read.parquet("deltalakefile/
浏览 16提问于2019-10-13得票数 4
回答已采纳
我没有使用Azure Synapse的经验，但我的理解是，这与SQL中的Databricks、ADF、ADLS2和Hive是相同的，它们都位于一个不同名称的工作区中。
我说错了吗？
浏览 2提问于2021-11-12得票数 1
回答已采纳
当我试图将Spark作为delta表保存到Azure Databricks Delta Lake时，我的所有数据类型都会变成字符串。此外，过去是datetime类型列中的所有日期都会在没有可识别模式的情况下被洗牌。
有人知道为什么会发生这种情况吗?如何预防？
浏览 6提问于2022-06-30得票数 1
1回答
如果我们有Azure Gen 2存储、ADF和Azure数据库，可以将传入的CSV文件转换为Delta表，可以称为"Lakehouse“体系结构，还是称为"Delta Lake"？或者是"SQL分析“引擎在Delta湖层之上使它成为了"Lakehouse"？
请澄清。
浏览 0提问于2021-06-18得票数 1
回答已采纳
我在HDFS上以Delta格式写入了数据。据我所知，Delta正在以拼接的形式存储数据，只是在它上面增加了一个具有高级功能的层。但是，当使用Pyspark读取数据时，如果使用spark.read.parquet()或spark.read.format('delta').load()读取dataframe，我会得到不同的结果 df= spark.read.format('delta
浏览 28提问于2021-01-27得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
