我正在尝试为我的Yarn集群构建Spark 3.0.0，使用Hadoop 2.7.3和Hive 1.2.1。我下载了源代码并创建了一个runnable dist .当我尝试在一个普通的Python REPL中创建一个SparkSession时，我得到了以下没有信息的错误。我如何调试它呢？(os.environ['SPARK_HOME'],'python'))>>
浏览 91提问于2020-07-08得票数 4
我正在尝试构建一个简单的基于Scala的Spark应用程序并在电子病历中运行它，但是当我运行它时，我得到的是Error: Failed to load class: com.myorganization.MyScalaObjApp { .master(("local[*]")) ." %% "spa
浏览 17提问于2020-10-02得票数 1
回答已采纳
我正在用自定义的codegen编写一个自定义的Spark catalyst Expression，但是似乎Spark (3.0.0)不想使用生成的代码，而是退回到解释模式。我以一种非常标准的方式创建我的SparkSession，除了我试图强制codegen： val spark = SparkSession.builder()
.appName("test-spark= input.asInstanceOf[org.apache.
浏览 29提问于2021-07-22得票数 6
我希望加载一个文本文件，其中包含由一个选项卡分隔的两列数字，然后从其中创建一个dataframe。amazon.txt")>>> df = df.toDF()u'Unable to locate hive jars to connect to metastore.bin-hadoop2.7
浏览 3提问于2016-11-10得票数 1
回答已采纳
我在本地机器上运行spark 2，hive，hadoop，我想使用spark sql从hive表中读取数据。当我在默认核心上运行hadoop时，它工作得很好，但如果我在hdfs://localhost:9000 -site.xml中更改为不同的端口：<valueshell会给出错误：
ERROR metastore.RetryingHMSHandler: AlreadyExistsException(messa
浏览 1提问于2016-08-19得票数 10
有没有办法在Spark中强制转换列，并在类型不匹配的情况下让它失败，而不是返回null？+----------+------------+------------+
在我当前的程序中使用这个函数可能会导致危险的数据丢失，直到为时已晚时才能捕捉到
浏览 15提问于2020-11-12得票数 0
因此，我尝试使用以下代码在Python2.7中创建Spark会话：from pyspark.sql import SparkSessionfrom pyspark import SparkContext
SpSession = SparkSession \
.builderenv['_PYSPARK_DRIVER_CALLBACK_HO
浏览 0提问于2017-05-09得票数 3
我正在尝试运行一个简单的Spark结构化流式作业，但在SparkSession上调用getOrCreate()时出现错误...我像这样创建SparkSession： .builder()
浏览 94提问于2020-07-30得票数 3
回答已采纳
1回答
我有这样的代码： implicit val sparkSession= SparkSession.builder().appName("seco_trial").getOrCreate()
val df = sparkSession.read.formatopti
浏览 0提问于2018-09-17得票数 0
当我试图将Dataset保存到java.util.NoSuchElementException存储中时，我得到了“None.get: None.get”的异常：java.lang.IllegalStateException: Failed to execute CommandLineRunner
at org.springframework.boot.SpringApplication.callRunner(SpringApplication.java我没有显式地创建SparkContext实例，而是只在源代
浏览 2提问于2020-03-19得票数 1
我遵循了上面提到的here的步骤，并没有创建一个sparkcontext。spark = SparkSession \ .appName(appName) \ .getOrCreate() 然后，当我尝试向bigquery编写演示spark数据帧时 df.
浏览 20提问于2021-09-20得票数 0
回答已采纳
我试图从Spark Java UDF中访问Iceberg表，但在UDF中运行第一个SQL语句时出现错误。下面是我如何在UDF中创建Spark会话： SparkSession spark = .master(...: Failed to execute user defined function(UDFRegistration$$Lambda$888/
浏览 56提问于2021-05-11得票数 0
当我迭代地将500多个列添加到我的pyspark中时，我遇到了堆栈溢出错误。所以我包括了检查点。检查站帮不上忙。因此，我创建了下面的玩具应用程序来测试我的检查点是否正常工作。我可以验证检查点文件夹确实是在磁盘上创建和填充的。import pandas as pdimport sys
spark = SparkSessionlist of new columns
浏览 1提问于2017-11-16得票数 1
回答已采纳
请原谅我的无知，因为我对pyspark和Spark还不熟悉。我正在将Spark从1.6.3升级到2.1，在使用pyspark运行我们的模型时遇到了问题。在运行抛出错误的python脚本时，我们所要做的就是读入一个JSON，并使用如下所示将其转换为DF
df_read = sparkSession.read.json('path to json file当尝试在DF上执行任何终端操作时，例如show()或take()或任何类似的操作，我们都会得到以下异常
浏览 8提问于2018-12-04得票数 0
我想用createDataframe ()创建一个Dataframe(Spark2.1中的Dataset )，当我给它传递一个列表param时，一切都运行良好，但是当我传递一个JavaRDD时，它会抛出异常代码
SparkSession ss = SparkSession.builder().appName("Spark Test").master("local[4]").getOrCreate();ss.cre
浏览 4提问于2017-04-14得票数 2
我正在尝试运行SparkSQL：但是我得到的错误如下：Caused by: java.sql.SQLException: Another instance of Derby may have already booted the database /root/spark122 more
Caused by: ERROR XSDB6: Another instance of Derby may have alr
浏览 41提问于2015-12-25得票数 33
当我在commmadLine中运行pyspark时，我得到了以下错误：17/02/16 02:37:41 ERROR Shell: Failed to locate the winutils binary\python\pyspark\shell.py", line 43, in <module>
<em
浏览 1提问于2017-02-16得票数 0
当我使用"/opt/module/spark-2.4.3-bin-hadoop2.7/Pipeline.py"，创建对线时，它会出现以下问题:文件"/opt/module/spark-2.4.3-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/ml/wrapper.py"，TypeError：init()中，有一个
浏览 1提问于2019-08-24得票数 0
1回答
电火花:使用私钥连接到雪花的错误
、、、、
我希望创建一个ETL过程，从雪花读取查询。大多数在线示例展示了如何使用常规字符串密码建立连接，但我的公司设置密码的方式是通过私钥。不幸的是，当我试图将私钥作为参数传递时，它返回以下错误： File "/Users/rihun/PycharmProjects/79, in deco<
浏览 1提问于2019-12-17得票数 2
与AWS文档中给出的示例不同，我在开始会话时接收到WARNings，稍后在AWS Glue DynamicFrame结构上的各种操作都会失败。etl/python/PyGlue.zip added multiple times to distributed cache.>>>
许多操作都像我预期的那样工作，但我也收到了一些不受欢迎的<e
浏览 3提问于2018-03-02得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
