问为什么我的BroadcastHashJoin在星火中比ShuffledHashJoin慢

EN

我在星火中使用javaHiveContext执行一个连接。

这张大桌子是1，76 is，有1亿张唱片。

第二张表是273兆美元，有1000万记录。

我得到一个JavaSchemaRDD，然后在上面调用count()：

String query="select attribute7,count(*) from ft,dt where ft.chiavedt=dt.chiavedt group by attribute7";

JavaSchemaRDD rdd=sqlContext.sql(query);

System.out.println("count="+rdd.count());

如果我强制一个broadcastHashJoin (SET spark.sql.autoBroadcastJoinThreshold=290000000)，并在具有8核和20 it内存的5个节点上使用5个执行器，它将在100秒内执行。如果我不强制广播，它将在30秒内执行。

注:表存储为Parquet文件。