广播哈希连接在Spark SQL中不能与full join一起工作？

文章/答案/技术大牛

发布

1回答

apache-spark

我有两个小表要做完全的外连接，如下所示，我认为它应该使用广播连接，但它选择了排序合并连接，我想知道为什么。10), (6, 7), (2, 5)) val x = 10L * 1024*1024 spark.createDataset(data1).toD

浏览 40提问于2019-03-03得票数 0

回答已采纳

1回答

我可以在autoBroadcastJoinThreshold中为不同的sparkConf设置不同的sql值吗？

apache-spark、broadcast、skew

我有大型DataFrames：A(200 G)、B(20m)、C(15m)、D(10m)、E(12m)，我想把它们连接在一起：A连接B、C连接D和E。就像：cdesql:sql(")使用默认spark.sql.a

浏览 4提问于2017-10-10得票数 4

回答已采纳

1回答

仅使用Spark时广播变量的使用

scala、apache-spark、apache-spark-sql

当使用spark时，我们可以使用广播变量来优化火花分配不变状态的方式。 1)广播变量是如何内部工作的？我的假设是:对于用于在dataset上执行操作的每一个闭包，它所引用的所有变量都必须序列化、通过网络传输并与任务一起还原，以便可以执行闭包。当从闭包中引用广播变量句柄时，就像上面所说的那样，它将像其他变量一样被序列化--只是广播变量句柄本身不包含实际对象。当闭包到达调用broadcastVar.value的点时，广播

浏览 0提问于2020-11-04得票数 3

回答已采纳

1回答

堆栈广播的csv？

apache-spark、apache-spark-sql

假设我从共享的数据存储中创建了一个火花数据集，如下所示：是否有一种方式告诉星火向所有节点广播项目，这样就不需要洗牌才能使用它？我有一堆小的查找表，我想看看广播是否有助于避免洗牌。

浏览 0提问于2018-03-19得票数 1

回答已采纳

1回答

Spark不会更改为shuffleHashJoin

apache-spark、apache-spark-sql

我试图通过禁用ShuffleHashJoin和SortMergeJoin来强制spark使用SortMergeJoin，但是spark总是使用SortMergeJoin。我使用的是spark版本2.4.3Logger.getLogger(("spark.sql.autoBroadcastJoinThreshold", 0) spark.

浏览 5提问于2019-09-18得票数 0

回答已采纳

2回答

spark中sc.broadcast与广播函数的区别

scala、function、apache-spark、apache-spark-sql、broadcast

我还知道在Spark函数中有一个名为broadcast的函数。我应该用哪一个来广播参考/查表？

浏览 3提问于2016-10-29得票数 4

回答已采纳

2回答

在星火中，广播哈希连接和广播嵌套循环连接有什么区别？

apache-spark

在星火中，广播哈希连接和广播嵌套循环连接有什么区别？在哪种情况下火花会选择哪个和哪个更快？

浏览 1提问于2020-01-01得票数 4

3回答

为什么spark (sql)即使在autoBroadcastJoinThreshold下的大小下也不执行广播连接？

apache-spark、apache-spark-sql

我有用Spark编写的非常复杂的查询，我正在尝试优化这个查询。对于一个部分，我尝试使用广播连接。但即使我已经确定： a.id,

浏览 3提问于2018-12-11得票数 5

3回答

spark.sql.autoBroadcastJoinThreshold是否使用Dataset的join运算符来连接？

apache-spark、apache-spark-sql

我想知道spark.sql.autoBroadcastJoinThreshold属性对于在所有工作节点上广播较小的表(同时进行连接)是否有用，即使在连接方案使用Dataset API连接而不是使用Spark如果我的更大的表是250吉，更小的是20 G，那么是否需要设置这个配置：spark.sql.autoBroadcastJoinThreshold = 21 Gigs (可能)，以便将整个表/ Dataset发送到所有工作节点？示例 Da

浏览 6提问于2017-05-15得票数 24

回答已采纳

1回答

Spark最终任务耗时是第一个199的100倍，如何改进

scala、apache-spark、hive、left-join

我已经为spark.sql.shuffle尝试了几种不同的设置。我尝试了100次，但它失败了(老实说，我并没有对它进行太多的调试)。我尝试了300、4000和8000。每增加一次，性能就下降一次。val df1 = sqlContext.sql("Select * from Table1") valdistributeDf1.registerTempTable("df1&qu

浏览 2提问于2016-07-22得票数 31

回答已采纳

3回答

为什么连接失败与"java.util.concurrent.TimeoutException:期货超时后[300秒]“？

scala、apache-spark、join、apache-spark-sql

我现正跟进上述守则的内容如下： .join(libriFirstTable50Plus3DF:138)at org.apache.spark.sql.execution.SparkPlan:1904) at org.apa

浏览 5提问于2016-12-13得票数 71

回答已采纳

1回答

如何为结构化查询的不同代码部分指定分区数？

apache-spark、apache-spark-sql

我有一个Spark流，类似于： .join(anotherDataFrame, columns) .save() 在join步骤中，我希望spark.sql.adaptive.enabled是true，因为这将加快连接的速度。在repartition步骤中，我希望spark.sql.adaptive.enabled是false，因为如果是真的，

浏览 0提问于2019-01-28得票数 2

3回答

如何避免在唯一键上加入DataFrames时的洗牌？

apache-spark、apache-spark-sql

如果B很小，我知道我会按照但是B仍然相当大，所以并不是所有的都可以作为广播变量。我知道我可以但这不能利用这种独特性，我担心这会导致不必要的混乱。完成这一任务的最佳方法是什么？

浏览 2提问于2017-05-07得票数 26

2回答

处理dataskew而不盐碱化spark中的连接键

scala、apache-spark、apache-spark-sql

我试图用一个30行的dataframe内部连接一百万行数据，这两个表都有相同的连接键，spark正在尝试执行排序合并连接，并且由于这个原因，我的所有数据都在同一个执行器中结束，而Job永远不会完成。| | 1 | Jan |+-------+-----------+广播spark.sql("Select /*+ BROADCAST(Df2) */ Df

浏览 8提问于2020-06-06得票数 1

1回答

我应该在Spark DataFrame上应用什么转换

apache-spark、apache-spark-sql

我有两个DataFrame数据帧(A和B)，它们都有一个公共的列/字段(在Spark A中是主键，但在B中不是)。我应该执行什么类型的转换，以便在不做太多混洗的情况下将记录收集在一起？

浏览 0提问于2018-07-25得票数 0

2回答

在Spark中，如何读取用bucketBy编写的拼花文件，并保存存储的数据？

scala、apache-spark、parquet

将/tmp/output中的文件移动到/tmp/newPlace，并启动一个全新的星火会话。 .whatGoesHere?[编辑:添加了部分工作示例来自 per @thebluephantom，我认为这表明阅读实际上需要一些特殊的东西]scala> def base = spark.rangescala> import o

浏览 2提问于2020-05-05得票数 3

回答已采纳

2回答

优化广播连接所建议的数据集大小是多少？

apache-spark、apache-spark-sql

在JSON文本文件中为我提供了一个大型数据集，每行一个JSON对象。我需要解析/转换的字段之一是一个划时代的时间戳(可读日期)。有人能帮我理解哪种选择更好吗?为什么？

浏览 10提问于2017-07-05得票数 1

2回答

表示值的列名的语法-子句？

apache-spark-sql

在标准的SQL中，我可以用表参数来表示名称，比如T(a,b,c)而不是T.但是这个，不工作，这是一个丑陋的错误消息，没有说正确的火花语法为它。，并且需要一

浏览 1提问于2019-10-03得票数 0

1回答

我可以使用包含2列的关键字吗？

mysql、mariadb

我的股票表是这样的；追踪表是这样的这意味着，如果产品的库存表中的数量列总数小于跟踪表中的数量列我使用这些SQL来获取库存较低的产品： SELECT t.id AS t_id, t.product AS t_product, t.type AS t_type, t.quantity AS t_quantityFROM stocks s LEFT JOIN tracking t ON

浏览 0提问于2023-02-18得票数 0

2回答

SQL -如何用组合和函数连接两个表？(目前的结果不正确)

sql、sum、inner-join、aggregate-functions、full-outer-join

在SQL中，我试图合并多个表并获取每个人的开销之和，并首先按照最高的总开销对这些表进行排序。我有三张桌子：我不能在生产环境中编辑test1和test2也要按我尝试过的两个表的总和进行排序：不走运。SUM select语句(no )工作</

浏览 11提问于2022-11-18得票数 -1

回答已采纳

点击加载更多