无法使用sqlcontext从spark-shell访问配置单元表
在使用spark-shell时，无法使用sqlcontext访问配置单元表的问题可能是由于以下原因导致的：
- 缺少相关的依赖库：在使用sqlcontext访问配置单元表之前，需要确保已经正确地导入了相关的依赖库。在Spark中，可以通过添加相应的jar包或者在构建工具中添加相应的依赖来解决此问题。具体的依赖库取决于你使用的具体版本和配置单元表的类型。
- 配置单元表不存在：如果无法访问配置单元表，可能是因为该表不存在或者命名不正确。请确保你使用的表名是正确的，并且已经在相应的数据库中创建了该表。
- 访问权限限制：如果你没有足够的权限来访问配置单元表，那么就无法从spark-shell中访问该表。请确保你具有足够的权限，并且已经正确地配置了访问权限。
针对以上问题，可以采取以下解决方案：
- 检查依赖库：请确保已经正确地导入了与配置单元表相关的依赖库。可以通过查看Spark文档或者相关的官方文档来获取正确的依赖信息。
- 检查表名和数据库：请确保你使用的表名是正确的，并且已经在相应的数据库中创建了该表。可以通过使用相应的SQL客户端或者命令行工具来验证表的存在和正确性。
- 检查权限设置：请确保你具有足够的权限来访问配置单元表。可以联系系统管理员或者数据库管理员来获取相应的权限，并且确保已经正确地配置了访问权限。
对于云计算领域的相关名词词汇，以下是一些常见的概念和相关产品介绍：
- 云计算（Cloud Computing）：云计算是一种通过互联网提供计算资源和服务的模式。它可以提供按需、可扩展、灵活和经济高效的计算资源，包括计算能力、存储空间和应用程序。
- 前端开发（Front-end Development）：前端开发是指开发和设计用户界面的过程，包括网页和移动应用程序的开发。常用的前端开发技术包括HTML、CSS和JavaScript。
- 后端开发（Back-end Development）：后端开发是指开发和维护服务器端应用程序的过程。它涉及处理数据、业务逻辑和与前端交互的功能。常用的后端开发语言包括Java、Python和Node.js。
- 软件测试（Software Testing）：软件测试是指对软件系统进行验证和验证的过程，以确保其符合预期的要求和质量标准。常用的软件测试方法包括单元测试、集成测试和系统测试。
- 数据库（Database）：数据库是用于存储和管理数据的系统。常见的数据库类型包括关系型数据库（如MySQL和Oracle）和NoSQL数据库（如MongoDB和Redis）。
- 服务器运维（Server Administration）：服务器运维是指管理和维护服务器硬件和软件的过程。它包括安装、配置、监控和维护服务器，以确保其正常运行。
- 云原生（Cloud Native）：云原生是一种构建和运行在云环境中的应用程序的方法。它强调容器化、微服务架构和自动化管理，以实现高可用性、弹性和可扩展性。
- 网络通信（Network Communication）：网络通信是指在计算机网络中传输数据和信息的过程。它涉及网络协议、数据传输和网络安全等方面。
- 网络安全（Network Security）：网络安全是指保护计算机网络和系统免受未经授权的访问、损坏和攻击的过程。常见的网络安全措施包括防火墙、加密和身份验证。
- 音视频（Audio and Video）：音视频是指处理和传输音频和视频数据的技术。它涉及音频编解码、视频编解码、流媒体和实时通信等方面。
- 多媒体处理（Multimedia Processing）：多媒体处理是指处理和编辑多媒体数据（如图像、音频和视频）的过程。它包括压缩、编辑、转码和渲染等操作。
- 人工智能（Artificial Intelligence）：人工智能是一种模拟人类智能的技术和方法。它涉及机器学习、深度学习、自然语言处理和计算机视觉等方面。
- 物联网（Internet of Things）：物联网是指通过互联网连接和交互的物理设备和传感器网络。它可以实现设备之间的通信和数据交换，以实现智能化和自动化。
- 移动开发（Mobile Development）：移动开发是指开发和设计移动应用程序的过程。它涉及移动平台（如iOS和Android）的开发工具和技术。
- 存储（Storage）：存储是指保存和管理数据的过程。云存储是一种通过互联网提供存储服务的模式，可以提供可扩展、高可用和持久的存储空间。
- 区块链（Blockchain）：区块链是一种分布式账本技术，用于记录和验证交易和数据。它具有去中心化、不可篡改和透明的特点，被广泛应用于加密货币和智能合约等领域。
- 元宇宙（Metaverse）：元宇宙是一个虚拟的、可交互的数字世界，模拟现实世界的各种场景和活动。它涉及虚拟现实、增强现实和人机交互等技术。
以上是对于无法使用sqlcontext从spark-shell访问配置单元表的问题的解答，以及云计算领域的一些常见名词和相关产品介绍。请注意，腾讯云的相关产品和介绍链接地址需要根据具体情况进行查询和提供。
相关·内容
我无法通过shell脚本查询spark中的表。但是如果我通过命令行运行，我就能得到结果。当我在shell中插入这些命令并尝试运行时，出现了问题。 已创建shell脚本： vi test.sh 在spark shell命令下插入 火花壳 val results =sqlContext.sql("SELECT * from table_name ")
results.show() 它正在进入spark shell，但未运行以下两个命令 val results =sqlContext.sql("SELECT * from table_name ") results
浏览 37提问于2019-09-06得票数 0
回答已采纳
有没有什么配置属性，我们可以在spark 1.6中通过spark-shell显式地设置它来禁用/启用配置单元支持。我尝试使用以下命令获取所有sqlContext配置属性：
sqlContext.getAllConfs.foreach(println)
但是，我不确定实际上需要哪个属性来禁用/启用配置单元支持。或者，有没有其他方法可以做到这一点？
浏览 3提问于2017-07-20得票数 6
回答已采纳
我是一个初学者，想学习spark。我正在使用spark-shell，并做了一些实验以获得快速的结果，我想从spark worker节点获得结果。
我总共有两台机器，其中一台机器上有一个驱动程序和一个工人，另一台机器上有另一个工人。
当我想要获取计数时，结果并不是来自两个节点。我有一个JSON文件要读取并进行一些性能检查。
代码如下：
spark-shell --conf spark.sql.warehouse.dir=C:\spark-warehouse --master spark://192.168.0.31:7077
val sqlContext = new org.apache.spa
浏览 1提问于2017-08-10得票数 3
我在Scala对象中有一个函数，它具有以下签名
def f(v1:Int)(implicit sqlContext: SQLContext)
当我试图从spark-shell调用这个函数时，我调用它时如下所示
f(1)
我希望将现有的sqlContext隐式地传递给它，但它并没有。我如何才能让它工作，这样sqlContext就会自动传递给这个函数？
-更新
在调用我的函数之前，我尝试在spark-shell中导入sqlContext.implicits._，但是没有帮助
浏览 1提问于2016-11-25得票数 3
2回答
在驱动程序中，我使用Spark将从Twitter流中提取的一些数据保存在表中。我不使用Hive，所以它被保存到spark-warehouse目录中。然后我尝试通过spark-shell访问它，但是sql()命令无法访问该表(它甚至没有在sqlContext.tables中列出)。由驱动器程序和星火壳创建的表都保存在同一个文件夹中，但对于应用程序来说它们是不可见的。
斯派克应该这样做吗？我是不是遗漏了什么？有办法共享这些桌子吗？
更新:我设法拼凑了一个例子。我提交了带有以下代码的驱动程序：
Seq(1).toDF("number").write.saveAsTable(&#
浏览 3提问于2017-01-23得票数 2
我是新的火花外壳，我试图添加新的表和阅读它。我添加了这个文件：
workers.txt：
1201, satish, 25
1202, krishna, 28
1203, amith, 39
1204, javed, 23
1205, prudvi, 23
并运行以下命令：
spark-shell
val sqlContext = new org.apache.spark.sql.hive.HiveContext(sc)
sqlContext.sql("CREATE TABLE workers (id INT, name VARCHAR(64), age INT)")
sqlC
浏览 9提问于2022-09-19得票数 0
我是Spark的初学者。我安装了java和spark-1.6.1-bin-hadoop2.6.tgz(我还没有安装Hadoop)，并且没有更改conf目录中的任何配置，就运行了spark-shell。在安装spark的目录中，我看到创建了另一个metastore_db，其中包含临时文件夹。为什么要创建这个metastore_db，在哪里配置的？我还看到在运行spark-shell之后创建了sqlContext，这个sqlContext代表什么？
浏览 11提问于2016-08-25得票数 1
回答已采纳
在spark 1.6中
在/etc/spark/conf下创建软链接后，当我运行spark-shell时，它没有创建支持配置单元的sql上下文，并显示错误-“本地快照库不可用:此版本的hadoop是在没有snappysupport的情况下构建的”。
请建议这里可以做些什么？
我正在尝试创建具有配置单元支持的sql上下文，但无法执行此操作。
浏览 1提问于2016-10-31得票数 0
2回答
我通过在我的数据帧上调用.saveAsTable创建了一个Spark SQL表。该命令完全成功。但是，现在当我查询表时，拼图文件似乎已损坏。我看到了这个错误：
"Failed with exception java.io.IOException:java.io.IOException: hdfs://ip:8020/user/hive/warehouse/people/part-r-00001.parquet not a SequenceFile"
下面是我在spark-shell中遵循的步骤
scala >val sqlContext = new org.apache.
浏览 3提问于2016-01-20得票数 1
我正在尝试从spark scala代码中查询hive表，并得到以下错误： catch exceptionorg.apache.spark.sql.AnalysisException: Table or view not found: `databaseName`.`register`; line 1 pos 35;
'Distinct
+- 'Project ['computer_name]
+- 'UnresolvedRelation `databaseName`.`register`
job failed 这是从Hive读取数据的代码。 impor
浏览 13提问于2019-02-25得票数 0
1回答
在Spark 1.5.1中，我已经能够使用Thrift Server从Beeline访问spark-shell临时表。我可以通过阅读Stackoverflow上相关问题的答案来做到这一点。
然而，在升级到Spark 2.0之后，我再也看不到来自Beeline的临时表了，以下是我正在遵循的步骤。
我使用以下命令启动spark-shell：
./bin/spark-shell --master=myHost.local:7077 —conf spark.sql.hive.thriftServer.singleSession=true
一旦spark shell准备就绪，我将输入以下几行代码来启动t
浏览 16提问于2016-09-28得票数 2
1回答
我正在尝试将一个参数传递给spark-shell。例如，我想把今天的日期作为scala代码中的一个变量。
val conf = new SparkConf().setAppName("test").setMaster("local[*]")
val sc = new SparkContext(conf)
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlContext.read.format("csv").load("./"+date+"
浏览 0提问于2019-12-09得票数 0
我试图使用下面的命令在shell中创建SQLContext：
//To start Spark Shell:
>spark-shell
//To create object of SQLContext
>val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
我收到以下警告：
warning: there was one deprecation warning; re-run with -deprecation for details
sqlcontext: org.apache.spark.sql.SQLContex
浏览 6提问于2017-05-08得票数 3
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。但它与配置单元的conf文件夹中的文件不同。从日志中，spark可以正确地获取hive的节约URI。我使用spark sql并在spark-shell中创建了一个hive表。我发现这个表是在spark.sql.warehouse.dir指定的文件夹中创建的。我将
浏览 0提问于2019-04-20得票数 0
8回答
选择数组中的元素范围
、、、、
我使用spark-shell执行以下操作。
最近，在spark中加载了一个带有数组列的表。
以下是相同的DDL：
create table test_emp_arr{
dept_id string,
dept_nm string,
emp_details Array<string>
}
数据如下所示
+-------+-------+-------------------------------+
|dept_id|dept_nm| emp_details|
+-------+-------+-------------
浏览 14提问于2016-10-19得票数 11
回答已采纳
像下面的代码一样，将一个dataframe插入一个hive表中。配置单元的输出hdfs文件包含太多小文件。如何在保存到配置单元时合并它们？myDf.write.format("orc").partitionBy("datestr").insertInto("myHiveTable")
当有100个任务时，它将产生100个小文件。
在数据帧上使用coalesce是个好主意吗？myDf.coalesce(3).write.format("orc").partitionBy("datestr").insertInto(&
浏览 11提问于2016-08-29得票数 1
1回答
我在配置单元控制台/ .hiverc文件中使用了以下属性，以便每当我查询该表时，它都会更新配置单元元存储的TBLS表中的LAST_ACCESS_TIME列。
set hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.UpdateInputAccessTimeHook$PreExec;
但是，如果我使用spark-sql或spark-shell，它似乎无法工作，并且LAST_ACCESS_TIME在配置单元转移存储中不会更新。
下面是我读表的方式：
>>> df = spark.sql("select * fro
浏览 1提问于2020-02-25得票数 5
我有一个正在运行的Amazon EMR集群。如果我这样做了
ls -l /usr/share/aws/redshift/jdbc/
它给了我
RedshiftJDBC41-1.2.7.1003.jar
RedshiftJDBC42-1.2.7.1003.jar
现在，我想使用此jar连接到我的spark-shell中的Redshift database。我是这么做的-
import org.apache.spark.sql._
val sqlContext = new SQLContext(sc)
val df : DataFrame = sqlContext.read
.option(&
浏览 4提问于2018-09-12得票数 4
(cloudera)我从hive创建了一个hive表，但无法从spark访问它，并在spark中使用sqlcontext创建了一个表，反之亦然，无法从hive>访问。但我可以在cloudera中查看配置单元浏览器界面下的所有表。如何从spark访问在hive中创建的表
浏览 6提问于2017-12-01得票数 1
在我的本地机器上安装了火花1.5火花-1.5.0-bin-hadoop2.6。在之后，运行$./bin/shell尝试创建一个表，得到如下结果：
> SQL context available as sqlContext.
>
> scala> sqlContext.sql("CREATE TABLE IF NOT EXISTS src (key INT, value
> STRING)"); 15/09/22 22:18:13 ERROR DDLTask:
> org.apache.hadoop.hive.ql.metadata.Hive
浏览 1提问于2015-09-23得票数 0
回答已采纳
1回答
我正在将数据作为拼图文件从MySQL导入hdfs，并在其上构建一个配置单元外部表，但该文件中几乎没有不需要的控制字符，这些字符也被加载到配置单元表中。我需要用一个空字符串替换它们。我用猪试了试，但没有成功。以下是返回问题的spark代码。
PYSPARK代码：
sc = spark.sparkContext
# using SQLContext to read parquet file
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
# to read parquet file
df = sqlContext.rea
浏览 3提问于2017-12-02得票数 0
我已经决定了如何使用spark-shell来显示字段名，但是它很难看，而且没有包含类型
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
println(sqlContext.parquetFile(path))
打印：
ParquetTableScan [cust_id#114,blar_field#115,blar_field2#116], (ParquetRelation /blar/blar), None
浏览 0提问于2015-03-07得票数 6
回答已采纳
我正在尝试使用scala从Hive导出数据。但我会跟着错误走。
Caused by: java.lang.ClassNotFoundException:com.databricks.spark.csv.DefaultSource
我的scala脚本如下所示。
import org.apache.spark.sql.hive.HiveContext
val sqlContext = new HiveContext(sc)
val df = sqlContext.sql("SELECT * FROM sparksdata")
df.write.format("com.dat
浏览 1提问于2017-08-22得票数 0
1回答
TL；博士:运行火花壳(驱动程序)的火花源是否绝对有必要拥有完全相同版本的火花放电主机？
我使用Spark1.5.0通过火花壳连接到Spark1.5.5.0：
spark-shell --master spark://quickstart.cloudera:7077 --conf "spark.executor.memory=256m"
它连接、实例化SparkContext和sqlContext。如果我跑：
sqlContext.sql("show tables").show()
它像预期的那样显示了我所有的表。
但是，如果我试图访问表中的数据：
sqlCon
浏览 1提问于2016-05-10得票数 5
回答已采纳
我想使用shell脚本进入火花壳程序，然后执行以下命令
cat abc.sh
spark-shell
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
val df = sqlcontext.read.json("/file/path")
我可以进入星际争霸scala，但是下面两个命令没有运行。
否则，请告诉我如何使用shell脚本在scala中自动运行星火命令序列。
浏览 0提问于2019-12-05得票数 0
回答已采纳
错误：
org.apache.spark.SparkException: Job aborted due to stage failure: Total size of serialized results of 1401 tasks (1024.3 MB) is bigger than spark.driver.maxResultSize (1024.0 MB)
我在调用spark-shell时遇到了这个异常
sqlContext.cacheTable("TableName")
sqlContext.sql("SELECT COUNT(*) FROM TableNam
浏览 0提问于2016-04-27得票数 3
我想创建一个python应用程序来使用Apache Spark分析twitter流数据。
是否有任何方法可以在不设置Hadoop环境的情况下使用Apache Spark streaming的功能。如何在独立模式下运行Apache Spark？我只是下载了二进制文件，并尝试运行spark-shell，获取NullPointerException。有人能帮帮忙吗。
<console>:10: error: not found: value sqlContext
import sqlContext.implicits.
<console>:10: error: not fo
浏览 0提问于2015-11-17得票数 1
3回答
我不能用星火-阿夫罗库读取火花文件。以下是我所采取的步骤：
从：得到了这个罐子
使用spark-shell --jars avro/spark-avro_2.10-0.1.jar调用火花壳
执行在git自述文件中给出的命令：
进口com.databricks.spark.avro._ org.apache.spark.sql.SQLContext val sqlContext =新SQLContext(sc) val剧集= sqlContext.avroFile("episodes.avro")
操作sqlContext.avroFile("episo
浏览 10提问于2015-08-07得票数 4
回答已采纳
2回答
我使用的是com.databricks.spark.avro。当我在spark-shell中运行它时，就像这样：spark-shell --jar spark-avro_2.11-4.0.0.jar，我可以通过这样的方式读取文件：
import org.apache.spark.sql.SQLContext
val sqlContext = new SQLContext(sc)
val avroInput = sqlContext.read.format("com.databricks.spark.avro").load(inputPath)
avroInput.write.f
浏览 117提问于2018-12-11得票数 1
回答已采纳
我正在从运行在EMR上的吡火花写一个数据到外部的蜂巢表。这项工作包括从外部单元表中删除/截断数据，将数据的内容写入上述表，然后将数据从单元写入DynamoDB。我想写到EMR集群上的一个内部表，但现在我希望以后的集群可以使用蜂箱数据。我可以直接写信到Glue目录，强迫它注册，但这比我需要做的还要远。
所有组件都可以在给定的EMR集群上单独工作:我可以使用脚本或ssh和hive shell在EMR上创建外部单元表。这张桌子可以被雅典娜查询，也可以通过火星雨阅读。我可以创建一个dataframe并将数据插入到上述表中。然后，我可以使用hive将数据从hive表复制到DynamoDB表中。
我想把所
浏览 4提问于2020-10-22得票数 0
回答已采纳
世界,
如何使用Spark-Scala从网上下载CSV文件并将其加载到spark-csv DataFrame中？
目前，我依赖shell命令中的curl来获取CSV文件。
下面是我想要增强的语法：
/* fb_csv.scala
This script should load FB prices from Yahoo.
Demo:
spark-shell -i fb_csv.scala
*/
// I should get prices:
import sys.process._
"/usr/bin/curl -o /tmp/fb.csv http://ichart.finance
浏览 2提问于2016-09-25得票数 5
在spark-shell (scala)中，我们将为特定配置单元上下文以编程方式启动Hive Thrift服务器的org.apache.spark.sql.hive.thriftserver._作为HiveThriftServer2.startWithContext(hiveContext)导入，以公开该特定会话的已注册临时表。
我们如何使用python来做同样的事情呢？python上有没有用于导入HiveThriftServer的包/ api？如有任何其他想法/建议，欢迎光临。
我们已经使用pyspark创建了一个数据帧
谢谢
拉维·纳拉亚南
浏览 0提问于2016-04-15得票数 3
我使用scala在spark中创建了一个数据源。我有一个case类，并创建了一个RDD并将其注册为表。就像spark文档中给出的例子一样。
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.createSchemaRDD
case class Person(name: String, age: Int)
val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(","
浏览 0提问于2014-10-29得票数 0
1回答
我在MariaDB中创建了一个表"students“，其中包含2行数据：
id name marks
-- --------- -----
1 saptarshi 98
2 sagar 95
我想使用JDBC在spark-sql中读取这个表，所以我打开了spark-shell并执行了以下命令：
spark-shell --jars mariadb-java-client-1.5.0-RC1.jar
scala> val url = "jdbc:mariadb://localhost:3306/sparkdb"
scala> val dr
浏览 5提问于2016-08-07得票数 1
我是Spark的新手。这是我想做的事。
我创建了两个数据流；第一个数据流从文本文件中读取数据，并使用hivecontext将其注册为temptable。另一个不断从Kafka获取RDD，对于每个RDD，它创建数据流并将内容注册为temptable。最后，我在一个键上连接这两个临时表，以获得最终结果集。我想将该结果集插入到一个配置单元表中。但是我已经没有想法了。尝试遵循一些示例，但这只在hive中创建了一个包含一列的表，这也是不可读的。您能告诉我如何在特定的数据库和配置单元表中插入结果吗？请注意，我可以使用show function查看join的结果，因此真正的挑战在于在hive表中插入。
下面
浏览 11提问于2017-04-26得票数 0
1回答
我正在使用电子病历中的蜂巢Metastore。我能够通过HiveSQL手动查询表。
但是当我在火花作业中使用相同的表时，它说输入路径不存在: s3://
由: org.apache.hadoop.mapred.InvalidInputException:输入路径不存在引起的:s3://.
我在s3://..中删除了上述分区路径。但是它仍然在我的蜂巢中工作，没有在表级别上丢弃分区。但无论如何它在火花放电中都不起作用。
这是我的完整代码
from pyspark import SparkContext, HiveContext
from pyspark import SQLContext
浏览 0提问于2017-12-21得票数 0
下面是我的代码。
首先，
./spark-shell --master spark://172.11.11.11:7077 --jars /opt/beh/bin/ojdbc14.jar
第二，
`import java.util.Properties`
`val sqlContext = new org.apache.spark.sql.SQLContext(sc)`
`val properties = new Properties()`
`properties.setProperty("user", "xxx")`
`properties.setPr
浏览 1提问于2015-09-25得票数 0
我正在使用Spark2进行EMR。当我进入主节点并运行火花外壳时，我看不到对sqlContext的访问。我遗漏了什么吗？
[hadoop@ip-172-31-13-180 ~]$ spark-shell
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/11/10 21:07:05 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back
浏览 3提问于2016-11-10得票数 1
我正在使用Spark版本2.0.1，并尝试使用Python代码连接cloudant数据库，但同时我收到一个错误。
在“load(cloudant_credentials‘’db_name‘)”抛出错误，那么有没有我没有导入的库呢？
我确信我使用的是正确的Cloudant凭据。
我尝试使用Java代码，但得到了相同的错误。
这是我的Python代码，
import pandas
import pyspark
from pyspark.mllib.regression import LabeledPoint
from pyspark.ml.evaluation import MulticlassC
浏览 0提问于2016-11-30得票数 0
我下载了apache kudu的快速入门VM，并遵循了页面中出现的示例，实际上我创建了一个名为"sfmta“的表，但当我尝试使用spark-shell访问kudu表时，使用了以下语句：
val df = spark.sqlContext.read.options(Map("kudu.master" -> "quickstart.cloudera:7051","kudu.table" -> "sfmta")).kudu
我得到了这个错误
org.apache.kudu.client.NonRecoverableE
浏览 1提问于2017-05-24得票数 2
我在控制台、纱线、客户端模式中使用了${SPARK_HOME}/bin/pyspark；sqlContext可以查询我的蜂巢表，但是当我在纱线中使用${SPARK_HOME}/bin/火花提交时；客户端模式下，sqlContext无法找到蜂巢数据库。
你知道我遗漏了哪些参数或文件吗？
如何定义sqlContext，使用Spark2.1.0：
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext
conf = SparkConf()
sc = SparkContext(conf=conf)
浏览 0提问于2018-07-18得票数 2
回答已采纳
2回答
我正在使用这个版本的Spark：spark-1.4.0-bin-hadoop2.6。我想检查几个默认属性。因此，我在spark-shell中给出了以下语句
scala> sqlContext.getConf("spark.sql.hive.metastore.version")
我期望对方法getConf的调用会返回此中描述的0.13.1值。但是我得到了下面的异常
java.util.NoSuchElementException: spark.sql.hive.metastore.version
at org.apache.spark.sql.SQLConf$$a
浏览 0提问于2015-07-17得票数 6
回答已采纳
我试图升级到火花2.2从火花1.6。现有的单元测试依赖于使用HiveContext初始化的已定义的TestHiveContext。
val conf = new SparkConf().set("spark.driver.allowMultipleContexts", "true")
val sc = new SparkContext("local", "sc", conf)
sc.setLogLevel("WARN")
val sqlContext = new TestHiveContext(sc)
在spar
浏览 0提问于2019-01-22得票数 0
回答已采纳
我有一个测试脚本来读取作为参数提供的文本文件，如下所示：
test.scala：
$ cat test.scala
import scala.io.Source
val filename = args(0)
for (line <- Source.fromFile(filename).getLines) {
println(line)
}
我想在下面读一个文本文件：
$ cat test.txt
test1
test2
test3
我需要在命令行中运行scala，如下所示：
spark-shell -i test.scala test.txt
我希望test.txt被识别为ar
浏览 0提问于2019-02-06得票数 2
我是Spark的新手，我想将CSV文件读到Dataframe中。
Spark 1.3.0 / Scala 2.3.0
这就是我到目前为止所知道的：
# Start Scala with CSV Package Module
spark-shell --packages com.databricks:spark-csv_2.10:1.3.0
# Import Spark Classes
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLCon
浏览 1提问于2018-04-25得票数 0
1回答
我想使用Spark SQL列出Hbase表。
尝试了下面的代码，但它不起作用。我们是否需要在Spark sql上下文选项中设置hbase主机、zookeeper quorum等详细信息？
val sparkConf = new SparkConf().setAppName("test")
val sc= new SparkContext(sparkConf)
val sqlContext = new SQLContext(sc)
val hiveContext = new HiveContext(sqlContext)
val listOfTables = hiveCo
浏览 2提问于2017-01-22得票数 0
2回答
我从hive表/视图中选择数据，但是spark-shell或beeline没有提取字符编码，但是如果我从Ambari(直接throguh Hive)选择相同的数据，但是出于安全原因，从命令行Hive被禁用。请参考以下数据： Ambari Data:
•Construction Maintenance
• 524 N. Martin Luther King Jr.
‘SS-MN-BAE – Other’
¿NPM¿ GOVT/GS SCD US ARM
¿MCCRAY,LORENZO
beeline data:
?Construction Mai...
? 524 N. Martin L
浏览 19提问于2019-01-11得票数 0
回答已采纳
2回答
我是Spark的新手，我正在尝试使用一些聚合功能，比如sum或avg。我在spark-shell中的查询运行得很好：
val somestats = pf.groupBy("name").agg(sum("days")).show()
当我尝试从scala项目中运行它时，它不工作，抛出一个错误消息
not found: value sum
我试着添加了
import sqlContext.implicits._
import org.apache.spark.SparkContext._
就在命令之前，但它不起作用。我的spark版本是1.4.1，我是否遗漏了什
浏览 0提问于2015-07-24得票数 14
回答已采纳
1回答
我试图通过SQLContext.sql在Spark应用程序中从MSSQL数据库中选择数据。连接可以工作，但我无法从表中选择数据，因为它总是在表名上失败。
这是我的代码：
val prop=new Properties()
val url2="jdbc:jtds:sqlserver://servername;instance=MSSQLSERVER;user=sa;password=Pass;"
prop.setProperty("user","username")
prop.setProperty("driver" ,
浏览 0提问于2017-07-13得票数 1
回答已采纳
我有一个场景，需要对数据帧中的每条记录运行一次查询。我在spark-shell中运行，Spark 1.6。我像df.rdd.map( row => sqlContext.sql("..."))一样尝试过，但它不起作用。对此有什么想法吗？
浏览 0提问于2019-02-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
