我正在尝试使用spark sql对hive表执行查询。下面的代码运行良好 spark=SparkSession.builder.master("local[1]".enableHiveSupport().appName("test").getOrCreate()
df=spark.sql("select * from table_name where date='2021-05-16' and name='x
浏览 22提问于2021-09-17得票数 0
回答已采纳
1回答
我的SPARK项目(用Java编写)需要跨执行器访问(选择查询结果)不同的表。这个问题的一个解决方案是:
表非常大，因此创建大容量的Map并将其作为广播变量传递给执行者听起来并不有效。是void org.apache.spark<
浏览 0提问于2018-12-18得票数 0
回答已采纳
我正在尝试引用python中spark.sql查询中的变量赋值。运行python 3和spark版本2.3.1。bkt = 1
order by ((year(fdr_date))*100)+month(fdr_d
浏览 17提问于2019-11-01得票数 0
回答已采纳
1回答
我正试图将一个变量传递给一个火花壳会话。本质上，我的目标是创建一个代码，它将逐行读取文本文件并逐一执行文本文件中的SQL查询。要做到这一点，我需要能够将"p“的值传递到火花会话中。/bin/bashexport SPARK_MAJOR_VERSION=2
spark-shell<<
浏览 1提问于2018-10-02得票数 1
回答已采纳
我有下面的SparkSQL (Spark pool -Spark3.0)代码，我想传递一个变量给它。我该怎么做呢？
浏览 23提问于2021-06-02得票数 0
我想在我的restful web服务中运行Spark SQL查询，那么我如何通过Jersey上下文运行Spark context？我需要将我的Spark SQL请求传递给集群，然后通过REST API将结果返回给用户。但在Spark文档中，如果不将jar文件提交到集群(主/从)，就无法在java代码中运行Spark SQL查询。
浏览 0提问于2015-01-11得票数 5
3回答
我们如何在Scala中使用Spark将列名和操作符名称动态传递给SQL查询？我尝试了(不成功)以下内容：spark.sql("select count(1) from ${key_tbl}").collect(
浏览 6提问于2018-02-25得票数 5
我尝试将在数组中获取的列名传递给spark sql，但不确定如何将其作为变量传递。我已经创建了一个dataframe并获取了变量x中的所有列，现在我创建了一个foreach循环来创建一个查询字符串，以便在下一步中进行查询。我们该如何解决这个问题？columns fetched above
// pass variable to q
浏览 3提问于2017-07-19得票数 2
回答已采纳
我正在用python编写spark代码。如何在spark.sql查询中传递变量？q25 = 500目前上面的代码不能工作？我们如何传递变量？我也试过，
Q1 = spark.sql("SELECT col1 from tab
浏览 6提问于2017-06-16得票数 21
3回答
如何在Apache Spark SQL中绑定变量？例如：sqlContext.sql("SELECT * FROM src
浏览 21提问于2014-11-05得票数 15
我有一个包含许多SQL查询的SQL文件，如下所示： CREATE TABLE ..... ;
ALTER TABLE .... ; 我想在单个spark.sql调用中执行这些查询，如何在JAVA中实现这一点
浏览 21提问于2021-03-26得票数 1
回答已采纳
谁能告诉我如何使用Phoenix Spark连接器连接到Spark，而不是使用Phoenix作为JDBC数据源(如果用作JDBC源，这是可行的，但性能是一个问题)。.format("org.apache.phoenix.spark")\ .option("__call__
File "/usr/lib/spark<
浏览 3提问于2017-04-22得票数 0
3回答
我正在处理Databricks，并且正在尝试将python变量传递到SQL查询中： """我尝试使用$，但它不起作用。
浏览 15提问于2020-05-29得票数 0
1回答
我需要在Spark SQL中传递参数。例如，我有以下查询作为Val时间戳=spark.sql("select timestamp from tablea ")，现在，我有另一个查询要在where类Spark.sql中传递这个时间戳(s“select但是上面的查询返回不匹配的表达式错误。有没有人能提个解决方案
浏览 1提问于2020-02-04得票数 0
如何在pyspark中将变量传递给spark.sql查询？当我查询一个表时，它会失败，并返回一个AnalysisException。为什么？>>> spark.sql("select * from student").show()
|roll_no| name|| 1|ravindra|
+-------+-------
浏览 0提问于2018-12-30得票数 2
回答已采纳
我没有用pyspark编写代码，所以我需要帮助来使用python在pyspark上运行sql查询。sql查询：
select a.id as nmitory_id, a.dscrptn as nmitory_desc, a.nm as terr_nm, a.pstn_type
浏览 23提问于2019-11-12得票数 1
连接到spark over livy在Jupyter中工作得很好，下面的spark魔法也是如此：select * from some_tablequery = 'select * from some_table'%%spark -c sql以下操作也不起作用：
%%spark -c sql
浏览 0提问于2018-05-08得票数 2
我想使用变量来选择两个变量值范围之间的条目。我的SQL查询是String sql = "Select count(*) FROM Records WHERE event_time <= UPPERTIME('1') AND event_time在这个查询中，UPPERTIME('1')和LOWERTIME('1')是UDF，它们的定义是
spark.udf().register(&quo
浏览 1提问于2017-06-16得票数 0
我尝试将case类作为变量传递给ScalaReflection以获取模式。我可以使用case类名称成功地运行代码，因为当我将case类分配给一个变量并将其传递给ScalaReflection时，我得到了错误。以下是我的代码 import org.apache.spark.sql.catalyst.ScalaReflection
import org.apache.spark.sql.types.StructType
浏览 11提问于2020-09-21得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
