我正在寻找一种快速的PySpark替代方案WHERE foo IN (SELECT baz FROM bar)bar_where_foo_is_in
浏览 2提问于2020-05-18得票数 2
0回答
你能帮我避免广播一个大的查找表吗？我有一张有测量结果的表格：x1 5.1x1 9.1
x3任务是获取每对元素的所有值，并将它们放入一个魔术函数中。这就是我如何通过广播包含测量值的大表格来解决它的。, c2v)
浏览 2提问于2016-07-14得票数 2
回答已采纳
如何在spark sql中进行广播。存在主表与10个查找表连接的查询。我想广播查找表以减少混洗。如何在sql语句中操作。我不能广播df和创建表。我只需要在查询中添加广播。我可以使用spark scala很容易做到，但我需要用sql来做。
浏览 3提问于2018-06-03得票数 2
1回答
假设我有以下dataframe模式：| body | rules |我有一个udf，它接收每一行的body列和规则列表列，并根据该行分析和评估规则的条件现在，DF中的每一行都有这些规则的副本，因为我不知道将这些规则传递给UDF的其他方法。这对我来说是非常多余和浪费的。这些规则是基于某些联接条件加入到行中的，因此每一行都没有完全相同的数据，但
浏览 6提问于2022-08-22得票数 1
回答已采纳
我正在使用spark执行连接倍数表。其中一个表非常大，其他表很小(10-20个记录)。实际上，我想使用包含一对键值的其他表来替换最大表中的值。即大表：--------------------------------------
| A1 | B1 |我的问题是；，这是加入表
浏览 1提问于2018-02-13得票数 3
2回答
广播加入火花不工作左外
、、、
我有一个小表(2k )记录和一个大表(5mil)记录，我需要从小表中获取所有数据，并且只从大表中匹配数据，为了实现这一点，我执行了下面的查询select /*+ broadcast(small)*/ small.* From small left outer join large，虽然查询返回正确的结果，但是当我检查查询计划时，它显示了排序合并广播散列连接。有什么限制，如果小桌子是左表</
浏览 1提问于2020-07-04得票数 1
1回答
假设我从共享的数据存储中创建了一个火花数据集，如下所示：是否有一种方式告诉星火向所有节点广播项目，这样就不需要洗牌才能使用它？我有一堆小的查找表，我想看看广播
浏览 0提问于2018-03-19得票数 1
回答已采纳
1回答
我的SPARK项目(用Java编写)需要跨执行器访问(选择查询结果)不同的表。这个问题的一个解决方案是:
表非常大，因此创建大容量的Map并将其作为
浏览 0提问于2018-12-18得票数 0
回答已采纳
我正尝试在两个表上进行广播连接。较小的表的大小将根据参数的不同而不同，但较大的表的大小接近2TB。我注意到的是，如果我不将spark.sql.autoBroadcastJoinThreshold设置为10G，其中一些操作将执行SortMergeJoin而不是广播加入。但是小桌子的大小根本不应该这么大。我将较小的
浏览 3提问于2018-10-16得票数 0
我对Spark2.1中的join有一个问题。Spark (错误的？)选择广播散列join，尽管该表非常大(1400万行)。然后作业崩溃，因为没有足够的内存，Spark以某种方式尝试将广播片段持久存储到磁盘，这将导致超时。所以，我知道有一个查询提示可以强制广播连接(org.apache.spark.sql.functions.broadcast)，但是有没有办法强制
浏览 32提问于2018-01-08得票数 7
我有一个叫做“边缘”的大数据当我在独立模式下工作时，我能够收集、计数和保存这个文件。现在，在一个集群中，我得到了这个错误...与.saveAsTextFile相同(“边”)我的</e
浏览 4提问于2014-11-30得票数 5
回答已采纳
我想知道，如果我们广播更大的桌子，同时把它加入到更小的桌子上，会发生什么。另外，如果我们有两个同样大的表，那么当我们在这个场景中使用广播连接时会发生什么？
浏览 6提问于2021-07-08得票数 2
回答已采纳
small table which I want to broadcast)team_size - INT方法1-我在team_id上重新划分球员和团队，并进行排序-合并连接。重新划分玩家需要近2.5分钟，因为大斜度，而加入则需要近3秒。因此
浏览 5提问于2022-07-20得票数 0
1回答
我的问题是，在使用Spark将表还原为更大的表时，任务大小太大了。这里是情况：
我有10+表/数据帧连接到一个uber表中</em
浏览 0提问于2017-03-06得票数 2
3回答
当我们有一个足够小的数据存储到内存中时，我们在Spark中使用广播散列连接。当小数据文件的大小低于spark.sql.autoBroadcastJoinThreshold时，我对此几乎没有疑问。我们暗示为广播的小数据的生命周期是什么？它将在记忆中停留多长时间？我们怎样才能控制它？
例如，如果我已经使用广播散列连接两次使用小dataframe加入了一个大datafr
浏览 0提问于2018-12-14得票数 11
回答已采纳
2回答
Dataset<Row> attReader = spark .format("org.apache.spark.sql.cassandra") .load();
.read()
.format("org.apache.spark.sql.cassa
浏览 0提问于2018-10-08得票数 0
回答已采纳
我用的是火花1.5。我有两份表格的数据：res1: org.apache.spark.sql.DataFrame = [basket_id: string,请注意，我在linkPersonItemLessThan500DF上使用的是linkPersonItemLessThan500DF，因为我打算稍后加入这两者。我现正跟进上述守则的内容如下：
val userTripletRankDF = linkPersonIte
浏览 5提问于2016-12-13得票数 71
回答已采纳
1回答
Spark包含一个集合，每个元素代表一个请求。对于每个集合元素\请求，需要引用一个查找表。参考表的最大大小为200行。
Scala不变集合。
浏览 4提问于2016-01-28得票数 1
回答已采纳
我试图了解Spark2.0作为一个DataFrame API是如何工作的，DataFrame对数据的结构有一定的了解。
任何解释都会有帮助
浏览 3提问于2017-06-08得票数 4
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
