我正在尝试使用Spark来提取邮政编码前缀，但是Spark生成的代码由于试图以org.apache.spark.unsafe.types.UTF8String作为参数初始化java.lang.Double我不太清楚这是不是Spark的问题，也不清楚我是如何使用它的。我在本地模式下使用Java 1.8和spark-mllib_2.10。substring(0, 3); }, Encoders.STRING()).keys().
浏览 4提问于2017-02-02得票数 1
我遇到了Java Spark Dataset的groupByKey方法的问题。以下代码在测试环境(Spark 2.1.0、spark-core_2.11、spark-sql_2.11)中本地运行时引发以下异常：
java.lang.Exception: failed to compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', L
浏览 0提问于2017-05-24得票数 1
在运行时，我的火花作业一直面临着奇怪的错误。我不认为MyBean类有什么问题，知道下面的驱动程序代码会有什么问题吗？谢谢<dependency> <artifactId>spark-core_2.10</artifactIdgetI() {return i;}
public void setI(int i) {this.i = i;}
浏览 0提问于2017-09-19得票数 3
回答已采纳
我使用的是星星之火-sql.2.4.1v，datastax-java-cassandra-connector_2.11-2.4.1.jar和java8。代码将数据保存到cassandra表中： .mode(SaveMode.Append)给出错误如下所示：
由: org
浏览 2提问于2019-10-28得票数 1
我有一个简单的火花项目，我试图运行与sbt run。但是，在编码过程中，它会导致异常：/* 029 */ }/* 031 */ }
org.codehaus.com
浏览 2提问于2017-12-13得票数 4
回答已采纳
{
.master("local")A1", 12.34); }除以下外：
java.util.c
浏览 4提问于2020-01-06得票数 0
回答已采纳
在Spark中使用Dataset.groupByKey(_.key).mapGroups或Dataset.groupByKey(_.key).cogroup时，当其中一个分组导致的数据超过2GB时，我遇到了一个问题在开始减少数据之前，我需要将数据按组规范化，我希望将这些组划分为更小的子组，以便它们更好地分布。，不管我如何努力解决这个问题，我的工作总是会出现这样的错误：java.lang.UnsupportedOperationException: Cannot grow
浏览 0提问于2018-10-08得票数 2
回答已采纳
2回答
下面是spark错误/* 052 */ private com.avro.message.video.public.MetricObservation MapObjects_loopValue34;
应该注意的是，com.avro.mes
浏览 18提问于2018-02-01得票数 1
我想重写一些用RDD编写的代码，以使用DataFrames。如果我想对当前组中的每个元素进行迭代，该怎么办？有可能吗？提前谢谢。
浏览 1提问于2016-02-07得票数 6
回答已采纳
firstDs.join(secondDs, firstDs.col("companyId").equalTo(secondDs.col("company_id"), "inner"));Caused by: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 385, Col
浏览 1提问于2019-09-05得票数 0
回答已采纳
我有一个有转义字段名的case类，如：然后我创建这个类的一个实例，并将其传递给DataFrame，如下所示：当我试图拯救它时).partitionBy("load_date").saveAsTable(tableName)
我得
浏览 1提问于2019-09-06得票数 0
回答已采纳
我正在使用Spark2.1.0，并在2.1.1上检查了这个场景。这对我来说很奇怪，这似乎是一个序列化问题。我使用的是包含scala列表的case类，并且我碰到了以下错误：
Executor task launch worker for task 1] [CodeGenerator.logError]: failedto compile: org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 111, Col
浏览 0提问于2018-02-20得票数 4
回答已采纳
我有一个Java类定义了我的JSON，这个类包含一些Integer属性。Spark能够读取这个JSON并使用上面的Java类编码器解析它。我还能够执行普通的Spark操作。最后，我还包括了我的pom.xml中的火花依赖项package com.suraj.spark;
import org.apache.spark.api.java.JavaRDD的person
浏览 0提问于2019-10-18得票数 1
我想在Spark-SQL生成的java代码中添加一些代码。因此，我创建了一个jar文件，其中包含类"Employee“，并在文件中手动插入'Employee e= new Employee(某个整数)‘：sql/core/src/main/scala/org/apache/spark/sql/execution/WholeStageCodegenExec.scala.在调用spa
浏览 17提问于2019-03-23得票数 1
回答已采纳
1回答
我正在尝试从星火书Spark: The Definitive Guide中运行一个例子ThisBuild / scalaVersion := "3.2.1"
("org.apache.spark" %% "spark-sql" % "3.2.0" % "provided").cross(CrossVersion.for3Use2_1
浏览 23提问于2022-10-30得票数 1
回答已采纳
此时，在异常下面生成：org.codehaus.commons.compiler.CompileException: File 'generated.java', Line 2114, Column 71: No1000行，该文件是由org.apache.spark.sql.catal
浏览 0提问于2018-07-18得票数 0
假设我有一些模式的流数据，如下所示：ts: timestamp
现在假设数据已经被uid分区(在每个分区中，数据是最小的，例如少于1行/秒)。我希望根据事件时间ts将数据(在每个分区中)放入窗口中，然后对每个窗口中的所有元素(也基于ts )进行排序，最后按顺序对窗口中的每个元素应用自定义转换。Q1:有没有办法获得窗口的聚合视图，而不是保留每个元素，例如将窗口中的所有元素物化到一个列表中？Q2:如果Q
浏览 0提问于2019-06-22得票数 1
1回答
在java spark应用程序中，在过滤器和类型化数据集的映射上使用lambda函数时，我遇到了一个问题。我得到了这个运行时错误
ERROR CodeGenerator: failed to compile: org.codehaus.commons.compiler.CompileException: File"; candidates are: "public static java.sql.Date org.apache.spark.sql.catalyst.util.DateT
浏览 6提问于2017-12-29得票数 2
我想在我的DataFrame中转换两列。下面是我的代码： .builder .appName("UDTransform").getOrCreate()
var df: DataFrame = session.createDataFrame(Seq((1, "Spark", 111), (2, "Storm", 112), (3, "Hadoop"
浏览 46提问于2017-06-28得票数 2
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号