2回答
我正在尝试向Azure Blob存储中存储为增量表的数据添加新列。对数据执行的大多数操作都是upsert，有很多更新，很少有新的插入。insertAll() .updateExpr(upsertStat)
.execute() 从these docs上看，DeltaLake似乎只支持在insertAll()和updateAll()调用中添加新
浏览 63提问于2020-08-22得票数 3
回答已采纳
根据Databricks的article，将delta lake与AWS Glue集成是可能的。然而，我不确定是否有可能在Databricks平台之外也这样做。是不是有人这么做了？另外，是否可以使用Glue爬虫添加与Delta Lake相关的元数据？
浏览 16提问于2019-10-02得票数 8
1回答
我是Delta Lake的新手，但我想为Delta Lake中的一些表创建一些索引，以便快速检索。它表明最接近的是通过创建数据跳过，然后索引跳过的部分：除了跳过数据之外，似乎找不到创建索引的其他方法
如何在Delta Lake中像在RDBMS中创建表一样创建索引
浏览 2提问于2019-10-24得票数 2
sessions.sessionId = updates.sessionIdWHEN NOT MATCHED THEN INSERT *
" 我正在使用io.delta:delta-core_2.11:0.6.1，我哪里做错了？
浏览 58提问于2020-07-15得票数 0
回答已采纳
可以使用Delta Lake而不依赖于Databricks Runtime吗？(我的意思是，是否可以仅在prem上使用带有hdfs和spark的delta-lake？)
浏览 10提问于2020-03-24得票数 5
在我的场景中，我有两个结构化的流作业，一个写到Delta lake表，第二个作业从delta lake表读取，处理它并写入另一个表。对于结构化流(它只需要挑选在最后一个流批次之后插入的新记录)，我应该创建的分区的最佳选项是什么。如果我在我的表中使用CreatedDateTime列，做下一个作业，从这个表中读取将使用那个分区。
浏览 3提问于2019-09-21得票数 0
2回答
我最近开始研究Databricks，并且一直在尝试找到一种方法来对Delta表执行merge语句，尽管使用的是R(最好是sparklyr)。
浏览 28提问于2021-11-23得票数 1
3回答
我在Azure有一张Delta Lake桌子。我使用的是Databricks。当我们添加新条目时，我们使用merge into来防止重复项进入表中。然而，重复项确实进入了表中。我不知道这是怎么发生的。有什么方法可以检测并删除表中的重复项吗？我找到的所有文档都展示了如何在合并之前对数据集进行重复数据删除。这一次什么也没有，副本已经在那里了。如何删除重复项？
谢谢
浏览 1提问于2020-10-13得票数 0
问题摘要：无法通过S3表上的Athena查询数据。我相信，如果帐户启用了Lake，问题就会具体发生。
设置一个新的雅典娜表(更新下面的$bu
浏览 14提问于2021-12-09得票数 1
当我试图将Spark作为delta表保存到Azure Databricks Delta Lake时，我的所有数据类型都会变成字符串。此外，过去是datetime类型列中的所有日期都会在没有可识别模式的情况下被洗牌。
有人知道为什么会发生这种情况吗?如何预防？
浏览 6提问于2022-06-30得票数 1
如何在mysql字段数据表中插入新列？例如，如果我有一个包含myfield表field_data_field_myfield的字段(myfield)，其中包含以下列‘实体_类型’、‘实体_id’、‘修订_id’、'bundle‘、'delta’、‘语言’、'myfield_value‘和’myfield_format‘……我如何将列mynew列添加为类型varchar？
浏览 0提问于2016-04-06得票数 1
回答已采纳
我正在使用sql来处理databricks delta实时表特性。有一个选项可以为它提供一个显式模式，但鉴于这是一个着陆表，我希望将这种开销的负担降到最低。星火文档非常稀少，而且databricks文档甚至更糟糕。有人知道我能不能这么做吗？
浏览 4提问于2022-05-17得票数 1
我们每天在delta lake表(表名: dst1)中加载源文件作为时间序列数据。如果deltalake表不存在，我们将创建一个表。如果表确实存在，我们将合并新数据作为时间序列数据。Creating Table if table does not exist:
spark.sql(f"CREATE TABLE {dtable} USING DELTA LOCATION {dmount1Mapple Syrup F
浏览 20提问于2021-09-23得票数 2
回答已采纳
1回答
让我们假设我有一个流数据，并且我将它写到Databricks Delta Lake： .format("delta") .start("targetPath")spark.sql("CREATE TABLE <TBL_NAME> USING DELTA LOCAT
浏览 11提问于2021-11-30得票数 3
回答已采纳
我正在处理这个数据流：如何在还不存在的列上使用聚集？因为数据流从未启动过。
我必须在一个数据流中做到这一点(不是一个数据流初始化Delta Lake，另一个数据流插入新行)。
浏览 3提问于2021-10-14得票数 0
在Databricks中，我有一个现有的delta表，我希望在其中再添加一个列，作为Id，这样每一行都有唯一的id no，并且是连续的(主键在sql中的存在方式)。到目前为止，我已经尝试将delta表转换为，并将新列添加为from pyspark.sql import functionswithColumn(&q
浏览 5提问于2022-07-12得票数 0
2回答
我有一张桌子(如假定这个装置)我可以定义硬编码的类别，我不确定如何在sql中表示这一点。Categoy1 = "alpha, bravo, delta, gamma'
浏览 4提问于2013-02-05得票数 0
回答已采纳
正如我从文档中了解到的，delta允许回滚，或者如他们所说的那样，可以回滚到某个特定版本的表。但是，我如何确保删除数据会在不创建新版本的情况下将其删除？
浏览 38提问于2019-10-01得票数 2
回答已采纳
我正在努力弄清楚的一件事是如何在spark会议之外连接到Delta Lake (银牌和金牌)表。我希望能够使用像Tableau这样的BI工具连接到这些表。我没有使用databricks，我想知道将这些表存储在hive metastore中是否会有所帮助。如果不是这样，那么是否有人可以帮助我与其他方法或如果这是可行的或不可行的。
浏览 61提问于2021-04-04得票数 2
如何在Databricks中重命名列？以下内容不起作用：它返回错误：
如果有差异的话，这个表使用的是<em
浏览 6提问于2019-12-26得票数 12
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
