我使用hive 2.3.7和spark-2.0.0作为执行引擎。我想知道如何打印物理计划，以查看caclcite选择在查询上执行哪种连接算法。
浏览 27提问于2020-11-30得票数 0
1回答
我正尝试在spark SQL中调试一个返回不正确数据的简单查询。
在本例中，查询是两个配置单元表之间的简单连接。这个问题似乎与以下事实有关: spark生成的物理计划(使用catalyst引擎)似乎已被破坏，其中物理计划中的一些步骤尚未分配订单id，因此在spark查询中连接右侧的所有评估都未
浏览 3提问于2020-02-11得票数 1
1回答
触发了2个select查询，一个在扣式列上，另一个在非桶列上，但我没有看到执行时间上的任何不同。我能从DAG或物理计划中得到任何信息吗？我两者都见过，但我看不出这和我在物理计划中看到的有什么不同
==物理计划== *(1)项目col1#0，col2#1，col3#2，col4#3，col5#4，col6#5，col7#6，col8#7，它不应该做一个HiveTableScan，因为表是作为一个单元表
浏览 1提问于2018-10-11得票数 0
2回答
我只是想知道这个火花密码就像这个一样有效率：在第一组中，我们是将所有的单元数据加载到RAM中，还是足够聪明地在执行生成的DAG时过滤蜂巢中的这些值
浏览 2提问于2020-08-28得票数 0
回答已采纳
我得到了一个非常简单的查询，当在相同的硬件上运行Spark SQL和Presto (3小时v.s 3分钟)时，显示出显着的性能差异。SELECT field WHERE field NOT IN (SELECT field FROM test2)
通过对查询计划的研究，我发现原因在于Spark SQL如何处理在NOT EXISTS的查询计划</em
浏览 13提问于2019-11-07得票数 6
回答已采纳
我是pyspark的初学者，很难理解对executor内存的更改是如何影响作业运行时的。我使用不同的配置运行代码(在下面分享)，并意识到当我减少执行器内存时-我的工作占用的时间更少。谁能告诉我背后的原因是什么？我运行了下面的pyspark代码： spark = SparkSession.builder.enableHiveSupport().getOrCreate()
hiveCtx = HiveContext(spark</
浏览 31提问于2020-01-02得票数 0
1回答
我们正在尝试获取逻辑计划(不要与物理计划混淆)，该计划是由Spark为给定查询生成的。根据Spark ，您应该能够使用scala命令检索它：或者在sparklyr中使用示例代码：sc <- spark_connect(master = "local", version = <em
浏览 3提问于2019-11-05得票数 1
回答已采纳
在我们的Spark流应用程序中，使用60秒批处理，我们在一个DF上创建一个临时表，然后对它运行大约80个查询，如下所示：没有一种方法可以生成、缓存和重用查询计划吗？即使每个查询只保存
浏览 0提问于2018-03-31得票数 5
我希望读取spark sql查询执行计划，并将其保存到文本文件中，以进一步分析逻辑和物理计划。我如何读取它，使它可以保存到一个文件。我使用的是df.explain()方法，但它只是将计划打印到cmd控制台。是否有任何方法将其存储在字符串或中，直接将其保存到文本文件或中，从控制台提取计划
浏览 0提问于2020-09-24得票数 1
我想登录df.explain(true)，我想看看物理和逻辑计划。我在文档中找不到如何使用log4j.properties来做到这一点，查看源代码，似乎他们使用println()进行打印，这意味着他们使用标准输出。
我怎样才能做到这一点呢？
浏览 0提问于2016-12-11得票数 2
我已经在一个干净的ubuntu实例上安装了spark 2.4.0。Spark数据帧工作得很好，但是当我尝试对数据帧使用spark.sql时，比如在下面的例子中，我得到了一个错误“无法访问metastore。这个类不应该在运行时被访问”。.createOrReplaceTempView("some_
浏览 176提问于2018-12-17得票数 3
回答已采纳
我有以下涉及UNION的Spark (2.4.0)查询。现在，我试图限制优化器从其查询的物理计划中排除特定规则，以便Spark只为这两个查询创建一个Exchange。我试过以下几句都是徒劳的。SET "spark.sql.optimizer.excludeRules" = org.apache.spark.sql.catalyst.optimizer.PushD
浏览 1提问于2020-07-20得票数 0
回答已采纳
一些消息来源，比如Mathei的，提到星火DataFrames是建立在RDD之上的。我在类中发现了一些关于RDDs的地方(在Spark2.0中，我必须看一下DataSet)；但是对于这两个API是如何在幕后结合在一起的，我的理解仍然非常有限。有人能解释一下DataFrames是如何扩展RDD的吗？
浏览 3提问于2016-08-29得票数 2
回答已采纳
1回答
在阅读了一些关于Whole State Code Generation的文章之后，spark进行了字节码优化，以将查询计划转换为优化的执行计划。现在，我的下一个问题是，但在进行了与字节码和所有这些相关的优化之后，仍然有可能认为将这些字节码指令转换为机器代码指令可能是一个可能的瓶颈，因为这是由JIT在流程运行时单独完成的，而要实现这种优化，JIT必须有足够的运行时间。因此，spark
浏览 4提问于2017-12-18得票数 0
回答已采纳
1回答
我试图理解火花的概念，但只是在某一点上感到困惑，我想知道spark.filter是O(n)还是O(1)，如果我先对数据进行排序，然后进行过滤，它是否会对顺序复杂性产生任何影响。因此，我们会尽量详细解释:-Case 1 : Spark.filter(id.equals(3))
Case 2 : Spark.sortBy(id).filter
浏览 0提问于2018-10-09得票数 1
回答已采纳
2回答
我一直在探索SparkSQL2.3.0快照的最新版本中的查询优化，并注意到了语义相同的查询的不同物理计划。第一个查询执行完全由Spark控制的查询。在查看了查询的物理计划之后，我相信最有效的查询将是最后一个：原因是：
浏览 2提问于2017-05-08得票数 10
回答已采纳
如果我的理解是正确的，火花申请可能包含一个或多个工作。作业可以分为阶段，阶段可以划分为任务。我或多或少可以在星火用户界面中遵循这一点(或者至少我认为是这样)。但我对SQL选项卡的含义感到困惑。特别是：为了理解，我一直在列举一些例子，但仍然不太清楚。
浏览 3提问于2021-07-28得票数 1
1回答
我有两个表，它们都聚集在相同的列上，但是在连接聚集列上的两个表时，执行计划同时显示了交换和排序步骤。我希望在我的计划中避免排序和交换步骤，并且根据文档，存储桶的表应该避免排序和交换步骤。')
spark.sql('set hive.optimize.index.
浏览 1提问于2019-06-12得票数 1
第二次运行查询时，速度要快得多。为什么？代码： publicvoidtest3() { //result1.show();} <em
浏览 70提问于2020-10-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
