我使用以下代码通过库SparkR导入数据：它是一个Spark DataFrame，它限制了我在它上面做一些操作。我不能使用read.csv导入文件，所以有没有一种方法可以将它更改为普通的DataFrame，以便我可以执行一些更改。
浏览 5提问于2018-03-02得票数 0
回答已采纳
我正在尝试将Spark dataframe转换为R Dataframe。有没有办法做到这一点？我首先尝试使用.toPandas()将其转换为熊猫数据帧，但再次使用as.data.frame()将其从熊猫数据帧转换为R数据帧不起作用
有人能帮我一下吗？
浏览 6提问于2021-09-16得票数 0
1回答
我正在尝试使用spark_apply将R函数应用于Spark DataFrame。在我最初的问题中，我有一个列表列表，我已经将其转换为R数据帧，我将能够将其转换为Spark DataFrame。但是在我的R函数中，我需要使用一个列表列表，而我不知道如何从数据帧中取回我的初始列表列表。我已经找到了如何将dataFrame转换为列表
浏览 10提问于2019-07-05得票数 2
回答已采纳
1回答
我正在处理电影镜头数据集，我有一个用户id作为行，电影id作为列的矩阵(m×n)，我已经做了降维技术和矩阵分解来减少我的稀疏矩阵(m X k，其中k<n )。我不知道如何在sparkR中将我的数据集划分为训练数据和测试数据。我已经尝试过原生R函数(sample，subset，CARET)，但它与spark数据帧不兼容。
浏览 0提问于2016-11-02得票数 1
3回答
如何将星火R数据转换为R列表
、、、、
看起来Spark确实支持像ggplot2、plyr这样的软件包，但是数据必须是R列表格式的。当我使用train <- read.csv("R_basics_train.csv")时，我可以在R中生成这种类型的列表，在这里，变量train是使用typeof(train)时的列表。然而，在Spark中，当我读取与"train“相同的csv数据时，它将被转换为数据格式，这不是我们以前使用过的dataframe</e
浏览 4提问于2016-04-21得票数 0
回答已采纳
在使用spark、*Spark sql join*和*spark dataframe join*从HBASE获取和操作数据时，哪个更快？
浏览 2提问于2016-06-01得票数 2
在spark中，有StandardScaler、MinMaxScaler、scala中的MaxAbsScaler、java和python。Spark在R (SparkR)中有这样的方法吗？
浏览 0提问于2017-11-10得票数 2
1回答
我需要在Spark SQL中传递参数。例如，我有以下查询作为Val时间戳=spark.sql("select timestamp from tablea ")，现在，我有另一个查询要在where类Spark.sql中传递这个时间戳(s“select
浏览 1提问于2020-02-04得票数 0
我是Scala和Apache Spark的新手。我尝试计算Spark数据框架中一些列的平均值和标准差，并将结果附加到源数据框架中。我正试着递归地做这件事。下面是我的函数。): DataFrame = { def recursorHelper(acc: DataFrame): DataFrame = { }}
val fi
浏览 4提问于2021-05-25得票数 1
回答已采纳
pandas.DataFrame.to_sql()方法将允许您将数据帧的结果写入数据库。这在标准RDBMS的上下文中工作得很好。如何在Spark中使用PySpark呢？
浏览 2提问于2015-03-25得票数 0
回答已采纳
我在%python环境中有一个Dataframe，并尝试在%r环境中使用它。
如何将%python下的spark数据帧转换为%r？
浏览 1提问于2017-07-17得票数 2
回答已采纳
USING CSV LOCATION "url/data.csv" %rdata_spark <- sql("SELECT * FROM data")
data_r_df <- as.data.frame(data_
浏览 10提问于2018-07-25得票数 3
您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)
浏览 26提问于2021-04-26得票数 0
我正在将csv文件读取到dataframe但是数据帧中的数据类型是字符串，我想将数据类型更改为浮点型。
浏览 0提问于2016-10-08得票数 6
如何有效地将大型本地数据帧转换为SparkR数据帧？在我的本地开发机器上，当我尝试将~ 650MB的本地数据帧转换为SparkR数据帧时，它很快就会超出可用的内存，而我的开发机器上有40 of的Ram。= "/home/your/path/spark-2.0.0-bin-hadoop2.7")
library(SparkR, lib.loc
浏览 0提问于2016-09-08得票数 3
我有一个spark脚本，需要为每一行进行60个api调用。目前，我使用BigQuery作为数据仓库。我想知道是否有一种方法可以使用BigQuery API或BigQuery Storage API从我的udf中查询数据库？也许是一种执行批量查询的方法？pandas-gbq会是一个更好的解决方案吗？抱歉，如果代码没有为这个用例正确完成，我是spark和BigQuery的新手。bqclient, bqstorageclient
bqclient, bqstoragecl
浏览 9提问于2019-12-12得票数 1
我发现h2o.ai库比SparkMLlib支持更多的ML算法，而将Spark数据帧划分到训练和测试集似乎很困难(需要将spark数据帧转换为R/h2o数据帧，这也是一种耗时/资源消耗的方法)。与基于R的实现( h2o.ai SparkMLib ，SparkR)相比，使用库还有哪些优点/缺点?，我正在将h2o.ai和SparkMLlib集中到基于R的实现
浏览 2提问于2016-12-09得票数 0
回答已采纳
我能够将csv文件从Azure datalake加载到pyspark dataframe中。如何删除第一行，并使第二行作为我的标题？ 我见过一些RDD解决方案。//{container}@{storage_account_name}.dfs.core.windows.net/tmp/items.csv")
firstRow=data.first() 因此，我更喜欢使用标准的spark加载，如下所示。我可以显示数据帧的内容
浏览 30提问于2020-03-20得票数 0
回答已采纳
如何将RDD (org.apache.spark.rdd.RDD[org.apache.spark.sql.Row])转换为数据帧org.apache.spark.sql.DataFrame。我使用.rdd将数据帧转换为rdd。在处理之后，我想把它放回数据帧中。我该怎么做呢？
浏览 56提问于2015-04-01得票数 150
回答已采纳
我需要使用Apache java spark将String类型的dataset转换为Row类型的Dataset：
Dataset<String> dataDs = spark.createDataset
浏览 0提问于2018-03-14得票数 4
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号