我正在尝试运行一个spark sql语句，并试图在执行聚合的同时执行一个简单的group by；它抱怨说，它无法在我在模式中提供的给定输入列中找到列month，但在教程之后，他们能够运行给定的代码。count(1) as total from logging_level group by level, month"); 堆栈跟踪： Exception in thread "mai
浏览 16提问于2020-08-23得票数 1
回答已采纳
我尝试通过在dataframe中添加一个新列来使用SparkSQL。我的守则是：df.withColumn("UID", new org.apache.spark.sql.Column("UID"))
错误：'**UID**‘给定的输
浏览 1提问于2017-03-14得票数 1
我有一个Spark程序，可以读取CSV文件并将其加载到Dataframe中。加载后，我将使用SparkSQL操作它们。当运行我的Spark作业时，它失败并给出以下异常：当SparkSQ
浏览 2提问于2016-10-05得票数 3
1回答
我想选择表中除StudentAddress之外的所有列，因此我编写了以下查询：在Squirrel Sql客户端中出现以下错误。org.apache.spark.sql.AnalysisException:无法解析给定的输入列的“”(StudentAddress)?+.+“”
浏览 45提问于2017-04-27得票数 3
回答已采纳
1回答
我正在读取一个具有“标题”的输入文件。‘点为DataFrame。我正面临问题，试图修剪在该文件中的值。= new SQLContext(getLocalSparkContext())import org.apache.spark.sql.functions`"))).show()
testDataFrame.withColumn("col1", trim(testDataFrame
浏览 1提问于2016-12-20得票数 0
：：org.apache.spark.sql.AnalysisException:无法解析给定输入列order_item_order_id，SUM(order_item_subtotal#429)的“SUM：：org.apache.spark.sql.AnalysisException:无法解析给定输入列order_item_order_id，SUM(order_item_subtotal#429)
浏览 1提问于2015-12-21得票数 4
1回答
我已经将一些较旧的数据存储在带有模式的parquet中。每次我尝试用spark.read.parquet("test_path").as[B].collect()读取数据时，我都会得到以下异常：
是否有方法为我
浏览 0提问于2017-11-07得票数 2
回答已采纳
1回答
scala> val map1 = spark.sql("select map('p1', 's1', 'p2', 's2')")+--------------------+
org.apa
浏览 8提问于2020-09-28得票数 1
回答已采纳
startingoffsets", "earliest") .select("value") 我知道错误了
线程"main“中的异常org.apache.spark.sql.AnalysisException:无法解析给定的输入列：id；
浏览 0提问于2019-11-01得票数 1
回答已采纳
1回答
在星火中使用过滤器和组块
、、、
但是，在执行我的代码时，我得到的“无法解析”给定的输入列“flag”： (1, 111,100,100,"C","5th","Y",11),.select("id", "rollno", "sub1"
浏览 1提问于2021-01-20得票数 0
回答已采纳
1回答
我有一个脚本，它目前运行在示例dataframe中。这是我的密码：在旋转之后，parameter_cut中的某些列可能在df fd_orion_apps上不可
浏览 2提问于2022-07-10得票数 1
回答已采纳
当数据源中缺少一些类型为Option[SeqString]的列时，我在编码数据时遇到了一些问题。理想情况下，我希望用None填充缺少的列数据。我们将这些拼花文件中的数据加载到一个Dataset中，并将其转换为MyType。String], column2: Option[Seq[String]])
org.apache.spark.s
浏览 2提问于2017-01-03得票数 10
回答已采纳
我在我的项目中使用了火花-SQL2.3.1v，带有java8的kafka。我正试图在卡夫卡消费端将接收到的主题转换为数据集。(companySchema , false),false)我使用序列化将消息以byte[]的形式发送到我成功地在使用者处接收到消息字节[]。我正试图将其转换为Dataset ?？怎么做？true)
Dataset&
浏览 2提问于2020-02-07得票数 0
回答已采纳
1回答
我用的是火花2.1.2。import org.apache.spark.sql.functions._import org.apache.spark.sql.typesunix_timestamp(mydf("date"),"MM/dd/yy").cast(Times
浏览 0提问于2019-07-18得票数 2
回答已采纳
我正在尝试通过Kerberos ( SparkSQL发行版是HDP 2.4.2)保护的集群中的Knox连接到Hadoop (Spark1.6.2)。我们对Hive有相同的架构，它工作得很好。因为Spark使用的是同样的服务器，所以我认为做同样的事情是微不足道的，但事实并非如此。通过Knox连接时，Spark thriftserver抛出的错误是：
16/10/17 15:25:39 ERROR T
浏览 3提问于2016-10-17得票数 1
我已经在AWS目录中创建了一个指向S3位置的表。我正在使用AWS读取S3位置中的任何新文件。数据文件将有第一个记录作为头文件。但是，在某些情况下，S3中有一个空文件正在删除，没有数据，也没有头文件。由于文件也没有任何头部信息，这将导致我的ETL作业失败，说“无法解决给定的输入列”。
我的问题是，是否有一种方法可以不从文件头读取模式，而只从AWS
浏览 0提问于2020-03-25得票数 1
我尝试了一下kafka火花结构化流，但是得到了一些异常，比如线程"main“中的异常:无法解析给定的输入列:值、偏移量、分区、键、时间戳、timestampType、主题；。附加我的代码import org.apache.spark.sql.functions._
import org.apache.spark.sql.type
浏览 0提问于2017-07-24得票数 0
我试图添加一个新列来激发数据框架，如下所示：我正在尝试将这个ArrayString作为新列添加到dataframe中，并尝试对新列执行来源= source.withColumn("newcolumn"，sha2(col(Word)，256).cast(StringType))
它已经完成，运行时错误也是我所得到的。线程“主”org.apache.spark.sql.AnalysisExceptio
浏览 3提问于2020-04-21得票数 1
回答已采纳
2回答
lastname: Option[String] = None, age: BigInt) {}{ "name": "bemjamin", "age" : 1 }spark.read.json("example.json")它显示了以下错误：
线程“主”org.apache.spark.sql.AnalysisException中的异常:<
浏览 0提问于2019-03-12得票数 6
回答已采纳
2回答
有没有办法在sparksql中实现像存储过程或函数这样的sql特性？
我了解hpl、sql和hbase中的协处理器。但想知道spark中有没有类似的东西。
浏览 0提问于2017-03-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
