我正在尝试在java API中使用spark sql，下面这些简单的东西(从官方指南：https://spark.apache.org/docs/latest/rdd-programming-guide.html它抱怨ClassTag的事情，我不知道如何创建它或让它自动导入或其他什么。
浏览 14提问于2020-09-13得票数 0
我使用的是spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它使用从数据库表返回的模式创建数据帧。 每次我调用上述API时，它都会创建一个到DB集群的连接请求。有没有办法在上面的API中传递或创建单例类的东西？
浏览 15提问于2020-04-27得票数 0
我想使用以下代码将spark数据帧转换为要添加的内容：spark_df = sqlContext.createDataFrame(pandas_df)model = KMeans.train= sqlContext.createDataFrame(pan
浏览 1提问于2016-09-16得票数 44
回答已采纳
我已经从NOSQL数据库创建了RDD，我想将RDD转换为数据帧。我已经尝试了许多选项，但都会导致错误。[_],beanClass: Class[_])org.apache.spark.sql.DataFrame <and>
(rdd: org.apache.spark.api.java.JavaRDD: Class[_])org.apache.spark.sql.DataFrame <and&g
浏览 1提问于2016-11-28得票数 0
中的所有函数SQLContext，SparkContext，以及JavaSparkContext也在SparkSession？一些函数，比如parallelize在中有不同的行为SparkContext和JavaSparkContext。它们在如何使用SparkSession？我如何使用 a 创建以下内容SparkSession？
浏览 216提问于2017-05-05得票数 39
回答已采纳
1回答
将循环的输出写入数据帧
、、、
我编写了这个scala代码，以便为星火DataFrame中的每一行做一些事情。基本上，这就是我所做的步骤2.这是在第二步，我有问题，当我运行一百万记录。我还能提高表演水平吗。FYI只将数据转换为数组，因为AFAIK spark数据only不能被迭代。def getRows (ca : org.apache.spark.sql.DataFrame ) = val allca = List()
浏览 1提问于2017-11-02得票数 1
回答已采纳
当我试图在Spark-SQL外部数据源上做一些测试时，会发生这个问题。为了更清楚地表达这个问题，我编写了一段代码：
在我的外部Datasource API基准代码中，它实现了一个
浏览 2提问于2016-01-09得票数 1
1回答
我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.spark").mode(SaveMode.Overwrite).o
浏览 26提问于2021-06-26得票数 0
我知道这可能是一个愚蠢的问题。我有以下代码：rows = [1,2,3]df.printSchema()但是我得到了一个错误：我不明白为什么会发生这种情况，因为我已经提供了'data'，也就是变量row。
浏览 1提问于2018-03-12得票数 2
回答已采纳
some_column") \ .saveAsTable("test_table", mode="overwrite")at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244)
at py4j.reflection.ReflectionEn
浏览 1提问于2019-10-10得票数 0
我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作： |-- id: string (nullable = true)但是，当我尝试编写包含StructTypes的数据帧时，其模式如下： |-- crawl: struct (nullable = true)
| |-- id:
浏览 4提问于2016-06-27得票数 1
我正在尝试使用新的Dataframe API进行开发，但是我得到了一个错误。import java.io.Serializable;
import org.apache.
浏览 1提问于2015-05-14得票数 0
2回答
我是spark & pyspark的新手。df = sqlContext.read.format('com.databricks.spark.csv').optionstmp/sm.csv')
df = df.withColumn('verified', F.when(df['verified&#
浏览 2提问于2016-04-13得票数 23
我在我的pyspark代码中创建和使用检查点。由于我使用的是非常大的数据帧，因此随着时间的推移，它们的大小往往会膨胀。有没有办法在作业完成后删除检查点文件夹？例如，如下伪代码所示：spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContextspark.sparkContext.setChe
浏览 2提问于2021-05-02得票数 1
我正在尝试使用databrick connect在IDE中运行我的databricks笔记本中的一些代码。我似乎想不出如何创建一个简单的数据帧。尝试从头开始创建数据帧： var dataRow = Seq((cdpos_df.count(),I_count,D_count,U_count))
var schemaRow = List([_],beanClass: Class[_])org.apache.spark</
浏览 69提问于2021-09-14得票数 0
我应该使用python中的哪个.map()函数从spark数据帧创建一组labeledPoints？如果标签/结果不是第一列，但我可以引用它的列名'status‘，那么表示法是什么？我使用这个.map()函数创建Python dataframe： listmp = list(line.split('\t'))
dataframein d
浏览 3提问于2015-09-14得票数 14
回答已采纳
如何将spark贴图与.net一起用于spark？就像python中的： nums=sc.parallelize([1,2,3,4])val res=input.map(x=>x*x) 但是.net数据帧没有名为map的函数 此文档(https:/&#
浏览 4提问于2020-07-06得票数 0
回答已采纳
我有一些数据包含在字符串数组中，如下所示(仅作为示例)：我想将我的列表映射到一个时间戳数组，以便创建一个RDD (myRdd)，然后创建一个数据帧，如下所示
val df = createdataframe(myRdd, StructType(StructField("myTy
浏览 3提问于2017-07-17得票数 4
回答已采纳
2回答
我在我的项目中使用了带有Java 8的spark-sql-2.4.1v。我需要从给定的数据帧构造一个循环哈希图，如下所示： List ll = Arrays.asList( ("aaa", 12), ("a", 14)
Dataset<Row> codeValudeDf = ll.toDF( "
浏览 11提问于2020-07-17得票数 0
回答已采纳
我有一个作业需要在分区的spark数据帧上运行，该进程如下所示： rdd = sp_df.repartition(n_partitions, partition_key).rdd.mapPartitions现在我希望将结果转换成spark数据帧，我这样做的方式是： sp = None if i == 0:sp = spark.createDataFrame(partiti
浏览 124提问于2019-12-10得票数 4
回答已采纳
云服务器
ICP备案
云直播
即时通信 IM
实时音视频
腾讯云开发者
