2回答
我正试着在Databricks中清理我的Delta表。然而，不知何故，它不工作，我不明白为什么。这导致我们的存储空间不断增加。ALTER TABLE <table_name> SET TBLPROPERTIES 然后，我在Databricks笔记本中运行以下vacuum命令：VACUUM db_nam
浏览 24提问于2021-06-04得票数 0
回答已采纳
我正在尝试清理并重新创建用于集成测试的databricks增量表。
我想在devops代理上运行测试，所以我使用JDBC (Simba驱动程序)，但它显示不支持"DELETE“语句类型。当我使用DBFS API "rm -r“清理底层DBFS位置时，它会清理该表，但重新创建后的下一次读取会给出一个错误-无法找到事务日志中引用的文件。当从文件系统中手动删除数据而不是使用table DELETE语句时
浏览 0提问于2019-04-04得票数 0
我有一些每天都在做的工作。不幸的是，它们中的一些有时会随机抛出一个异常：
java.io.FileNotFoundException: _delta_log/00000000000000000070.checkpoint.parquet问题是这个错误并不是一成不变的，有时工作会抛出它，有时不会，所以找原因就像大海捞针一样。几个月前我遇到了一个类似的问题，我发现将Databricks Runtime版本更新到5.5可以解决这个问题。当然，它解决了，但几个月后错误又回来了，我找不到
浏览 16提问于2020-02-25得票数 0
在我的场景中，Databricks在Delta表中执行读写转换。我们已经将PBI连接到Databricks集群，该集群需要在大部分时间内运行，这是非常昂贵的。知道增量表在容器中，从增量表提供PBI的成本x性能方面，最好的方法是什么？
浏览 37提问于2021-11-10得票数 1
回答已采纳
我是在本地机器上使用Python的新手。到目前为止，我可以在Azure Databricks中编写代码。我想创建和部署连接到confluent kafka的库，并将数据保存到增量表。我弄糊涂了- 1]我是否需要通过如下设置从本地计算机连接到Databricks Delta，使用python将流存储到增量或将流存储到本地增量(我可以创建增量表
spark = pyspark.sql.SparkSession.builder.appName中，当它运行时，
浏览 0提问于2021-01-08得票数 1
目前，我正在将一个旧的Databricks环境迁移到一个新的环境。由于许多依赖项，目标是并行运行旧的和新的环境，直到所有的测试都通过为止。因此，我试图将Databricks表从旧环境复制到新环境。要尝试成功复制表，我尝试将Databricks表从旧订阅导出到帐户存储，并从帐户存储中将它们导入到新Databricks环境中。，由于转换到dataframe，第一个文件无法工作，这会使您丢失有关历史的信息。第二种方法没有将
浏览 2提问于2020-11-13得票数 2
1回答
如何通过改变数据库中的模式将数据插入到增量表中。 在Databricks Scala中，我分解了一个Map列并将其加载到增量表中。我有一个预定义的增量表模式。 假设模式有4列A、B、C、D。因此，有一天，我使用下面的代码将包含4列的数据帧加载到增量表中。当我将此数据加载到增量表中时，应该在表模式中动态创建列E和
浏览 18提问于2021-10-29得票数 0
您好，我想在我的spring boot应用程序中建立与Microsoft azure databricks增量表的连接。我有集群url、用户名和增量表的密码(令牌)，我需要从中提取数据到我的应用程序。
浏览 2提问于2021-05-17得票数 1
我使用Azure datalake gen 2，我用databricks转换数据，我有在Power中发送的增量表。但是，必须允许客户端在sql表中请求。什么是最佳做法？是否可以使用databricks，或者让我使用其他的东西？提前谢谢你帮我!！
浏览 3提问于2022-06-17得票数 0
我目前正在创建一个摄取管道，以便将数据从增量表复制到postgres表。选择接收器时，系统要求我启用分段。Direct copying data from Azure Databricks Delta Lake is only supported when sink dataset is DelimitedTextservice or Azure Data Lake Storage Gen2, for other dataset or linked service, please enable staging
这将把我的流水线变成一个两步<
浏览 0提问于2021-11-10得票数 0
1回答
通过提供其挂载路径，从Azure blob存储容器下的数据块创建增量表。它是使用Azure blob存储资产在Azure权限中扫描的，不会生成沿袭。如果提供任何实现这一目标的建议，将是有帮助的。或者提供从Databricks增量表直接扫描也是值得注意的。
浏览 11提问于2021-04-28得票数 0
1回答
我在一个文本文件和增量表中有一个SQL脚本列表。我需要一个接一个地把他们处死。制作了增量表。早些时候，我在SQL server中使用Exec命令执行存储过程。在databricks中的delta lake有什么解决办法吗？
浏览 6提问于2021-06-09得票数 1
1回答
我有一个增量表，其中多个作业通过databricks可以并发地将数据合并/升级到增量表中。如何防止感染ConcurrentAppendException 我不能使用这个solution，因为传入的更改可以是任何分区的一部分，并且我不能过滤任何分区。有没有一种方法可以检查增量表是否被追加/合并/更新/删除，并等待它完成，然后我们获取锁并开始第二个作业的合并？ 仅供参考，这些是2个独立的Azure数
浏览 12提问于2020-09-16得票数 1
在databricks 中，它允许使用增量表连接流数据。酷之处在于，对于后续的联接结果，delta表中的更改仍然会被反映出来。它工作得很好，但我很想知道它是如何工作的，这里的限制是什么？预期的更新延迟是什么？它是如何随着增量表的增长而变化的？在生产中依赖它安全吗？
浏览 5提问于2022-04-19得票数 2
回答已采纳
3回答
我最近开始发现Databricks，并面临需要删除增量表的某一列的情况。当我使用PostgreSQL时，它就像DROP COLUMN metric_1;
我正在查看删除时的数据库，但它只覆盖了DELETE the我也找到了关于DROP database，DROP function和DROP table的文档，但完全没有关于如何从增量表中删除列的文档。这里我漏掉了什么？是
浏览 4提问于2019-01-31得票数 12
回答已采纳
我目前有一个pyspark dataframe，我最初使用下面的代码创建了一个增量表-现在，由于上面的dataframe在我的需求中每天填充数据，因此为了将新记录添加到增量表中，我使用了以下语法-
df.write.format("delta").mode("append").saveAsTable("events&quo
浏览 1提问于2021-02-24得票数 4
1回答
我正在处理数据库中大约有100万到300万行的大约16个delta表。我主要要做的是插入和删除操作。所以我应该使用平面文件而不是增量表。或者我应该尝试合并到增量表中。
因此，我怀疑delta的优点是什么，为什么不使用平面文件呢？这是一个基本的问题，但我对databricks还不熟悉，所以任何帮助都会很好。
浏览 3提问于2019-12-17得票数 2
回答已采纳
我对databricks和sql是新手，我想在那里添加一些数据。Id| A| B| C| D| E| F| G| H| I| J| K (A，B，C....是列名)
我将解析日志文件，因为它们将出现在blob中，并创建数据帧。数据帧可能是这样的。DF1 A| B| C| D| (A，B，C....是列名) DF2 A| B| D| E| (A，B，C
浏览 0提问于2021-06-07得票数 0
我在Azure Databricks中以增量表格式存储流数据。为了进行优化，我目前使用的是Z排序。使用超空间索引子系统比使用Z排序有什么好处吗？
浏览 17提问于2021-04-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
