Spark异常“无法广播大于8 8GB的表”，'spark.sql.autoBroadcastJoinThreshold'：'-1‘不工作

Spark异常“无法广播大于8GB的表”是由于Spark默认情况下会尝试将小于等于8GB的表广播到所有的执行器节点上，以提高查询性能。然而，当表的大小超过8GB时，Spark会抛出该异常。

要解决这个问题，可以通过调整Spark的配置参数来修改广播阈值。具体来说，可以通过设置spark.sql.autoBroadcastJoinThreshold参数来控制广播阈值的大小。该参数的默认值为8GB，可以通过将其设置为一个较大的值来避免广播异常。

在Spark中，可以通过以下方式设置spark.sql.autoBroadcastJoinThreshold参数：

spark.conf.set("spark.sql.autoBroadcastJoinThreshold", "-1")

上述代码将spark.sql.autoBroadcastJoinThreshold参数设置为-1，表示禁用广播操作。这样，无论表的大小如何，Spark都不会尝试广播表。

需要注意的是，禁用广播操作可能会导致性能下降，特别是对于较小的表。因此，在实际应用中，应根据具体情况权衡性能和资源消耗。

推荐的腾讯云相关产品和产品介绍链接地址：

• 腾讯云Spark服务：腾讯云提供的托管式Spark服务，可帮助用户快速搭建和管理Spark集群，提供高性能的大数据处理能力。了解更多信息，请访问腾讯云Spark服务。

请注意，以上答案仅供参考，具体的解决方案可能因实际情况而异。