2回答
我有一个数据帧，看起来像这样：123 456 0.5456 789 0789 123 1我想要一个如下所示的输出：
{'123': {'456': 0.5, '789': 1}, 456: {'123': 0.5, '789': 1}, '789': {
浏览 86提问于2018-01-27得票数 1
回答已采纳
1回答
摧毁星火DataFrame
、、、、
Spark版本的1.5和我正试图将具有名称值组合的输入数据name转换为一个新的数据name，其中所有的名称都被转换为列，并将值转换为行。I/P DataFrame：1 Country US 2 State NY 4 State MH 5 State NJ
5
浏览 10提问于2016-03-02得票数 5
我浏览了Spark的DataFrame，并希望在我用Java开发的程序中使用这个结构。我怎样才能进行这种转换？是否有更简单的方法直接将SQL结果转换为DataFrame？编辑:我试图通过下面的详细信息通过SparkSession连接Server .builder()
.maste
浏览 4提问于2016-11-11得票数 0
2回答
按照的描述，我正在从Mongo加载一个bson转储到Spark中。它是有效的，但我得到的是：它基本上应该是包含所有String字段的JSON。我的其余代码需要一个DataFrame对象来操作数据。但是，当然，toDF在该RDD上失败了。如何将其转换为所有字段均为String的Spark DataFrame？如果能有类似于spark.read
浏览 1提问于2016-10-04得票数 1
将表读入DataFrameimport org.apache.spark.rdd.RDDimport java.util.HashMap
import.withColumn("Address&quo
浏览 6提问于2017-12-08得票数 9
因此，如果df2中的值是df1中的“类似”键，我将尝试从df1中删除行。我不确定这是否可行，或者是否需要首先将df1更改为列表？
浏览 4提问于2018-08-02得票数 1
回答已采纳
在执行齐柏林飞艇教程代码时出错：
错误: value registerAsTable不是org.apache.spark.rdd.RDDTweet ).foreachRDD(rdd=> rdd.registerAsTable
浏览 3提问于2016-02-10得票数 4
2回答
假设我在Scala中创建了一个简单的类，它使用了一些apache-spark库，如下所示： def exe(): DataFrame = {
df.select(col(column顺便说一句，我还看了一下spark代码，我感到有点迷茫，我无法为自己的目的复制它们的功能。
浏览 3提问于2016-03-15得票数 29
回答已采纳
我有一个包含一年周列的Dataframe，我想将其转换为日期。我写的代码似乎每周都有效，除了“202001”和“202053”，例如： df = spark.createDataFrame([(2, "202002"),
(3,如何将第202001周和第202053周转换为有效日期？
浏览 58提问于2021-01-16得票数 2
回答已采纳
StructField("event_timestamp", StringType, true),))
.enableHiveSupport() .getOrCreate()
var transaction=spark.createDataFrame
浏览 4提问于2022-06-25得票数 0
回答已采纳
我正在尝试将每个worker节点(每个元素都是Pandas DataFrame的RDD )上的Pandas DataFrame转换为跨所有worker节点的Spark DataFrame。, and I am using some datetime """
return在完成熊猫处理后，我如何将其转<em
浏览 31提问于2019-06-05得票数 0
回答已采纳
1回答
，我希望能够在RDD2中访问RDD1中的值，例如：2.0和3.0是RDD1中相应的值RDD2.map(m => RDD1HashMap.get(m._2._1))
是否有其他方法来实现这一点
浏览 1提问于2014-06-23得票数 2
回答已采纳
Dataframe是使用scala创建的。val someDF = spark.createDataFrame( spark.sparkContext.parallelize(someData), StructType(someSchema) )PySpark提供了.toPandas()来将火花数据转换成熊猫，但是scala(我可以找到)并没有对应的数据。
浏览 1提问于2020-04-05得票数 0
回答已采纳
1回答
在创建火花会话之后，我运行了以下代码
spark_df.select('*').toPandas(我需要火花df和熊猫df的原因是，对于一些较小的DataFrame，我想很容易地使用各种熊猫EDA函数，但对于一些较大的，我需要使用火花sql。首先，把地板转向熊猫，然后再点燃df，这似乎有点迂回。
浏览 3提问于2019-10-20得票数 0
如何在不使用javaRDD的情况下使用dataframe(spark sql)从Hbase获取数据。sqlContext = new SQLContext(jsc);
HashMap<String, String> map = new HashMap<String, String>();
map.put("hbase.columns
浏览 4提问于2017-05-12得票数 0
1回答
当在Spark Dataframe上的过滤器中使用"and“子句时，它返回Spark.SQL.Column而不是Spark Dataframe。但在一个条件下，它工作得很好。如何show()或迭代通过Spark Sql列对象？尝试show()函数时抛出错误- 'Column' object not callable.或者如何将Spark.SQL.Column转换为Spark Da
浏览 1提问于2019-04-23得票数 0
目前，我正在将Cassandrarow RDD转换为dataframe：}
正如您所看到的，我首先将cassandraRow rdd转换为是否有其他选择和简单的方法将cassa
浏览 5提问于2017-05-30得票数 0
回答已采纳
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
除了下面使用Scala的示例之外，我没有找到任何用于将矩阵转换为spark dataframe的pyspark代码。有人知道如何使用python吗？How to convert a mllib matrix to a spark dataframe?
浏览 61提问于2019-01-09得票数 1
回答已采纳
home/cloudera/Downloads/WA_Sales_Products_2012-14.csv',
TypeError: object of type 'DataFrame
浏览 0提问于2017-12-28得票数 0
云服务器
ICP备案
对象存储
云直播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号