3回答
我有一个Spark dataframe，它的characters列是20/01/2000 (day/月/年)。但是我正在尝试将其更改为日期格式，这样我就可以使用这里的函数：来只获取我想要的数据(例如，提取月份和日期)。sc <- spark_connect(master = "spark:&
浏览 4提问于2017-08-04得票数 3
回答已采纳
我试图实现的是在${SPARK_HOME}/bin/spark-submit执行期间将记录到控制台的所有信息静默。我已经通过更改${SPARK_HOME}/conf/log4j.properties中的适当行更改了spark本身的日志级别，但当我提交R-sparklyr脚本和sparklyr.jar以作为一种独立作业执行时，我仍然会获得以下信息： # 用户@主机${SP
浏览 27提问于2021-07-02得票数 0
1回答
library(dplyr) config <- spark_config() Error in force(code) :
Failed while connecting to sparklyr to port (8880)Parameters: --class, sp
浏览 2提问于2018-11-13得票数 2
7回答
有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。sparklyr只能用于并行运行dplyr函数，还是“普通”的R-Code？
最好的
浏览 0提问于2016-09-14得票数 53
在使用SparklyR和Spark 2.0.2调用逻辑回归后，我在Spark上得到以下错误。ml_logistic_regression(Data, ml_formula)Error: org.apache.spark.SparkException: Job aborted due to stage failure: Task fa
浏览 0提问于2017-04-05得票数 2
3回答
我有一个可以使用spark_read_csv加载的数据帧。我使用最新版本的sparklyr和Spark (2.1.1)# Database: spark_connection<chr> <chr> 现在这个时间戳是GMT格式的，我想把它转换成EST格式</em
浏览 0提问于2017-06-16得票数 2
有没有办法在sparklyr中禁用hive支持？sparkR.session(master="local[*]", enableHiveSupport=FALSE)
浏览 9提问于2017-01-10得票数 5
回答已采纳
1回答
使用库sparklyr，我尝试以这种方式(在R中工作)在Spark中创建一个日期变量：library(sparklyr)
setwd('C:/User
浏览 0提问于2018-02-01得票数 0
回答已采纳
1回答
260 -1780 -1780我使用copy_to函数将数据复制到Sparkx 5]Date AD_CC_CC AD_CC_CC_1 CL_CC_CC CL_CC_CC_117574 480 480
浏览 0提问于2018-07-31得票数 1
回答已采纳
我正在转换我的原始R代码，使其适用于使用sparklyr包的火花。我使用lubridate包来计算两个日期之间的持续时间。在R中，这将导致duration数据类型，然后可以将其转换为numeric数据类型，如下面的示例所示。在Spark dataframe上执行完全相同的转换将生成错误，因为持续时间数据类型会自动转换为字符串数据类型。请忽略从本地R转换到Spark时的日期更改，这是由于时区的差异造成的。sparklyr</em
浏览 23提问于2021-02-17得票数 1
1回答
我想爆炸的数据，以便我可以进一步转换为CSV文件格式。R代码是通过使用Sparklyr包来创建数据库模式来编写的。给出了可复制的代码和数据库。然后将编号的项目复制到一个名为“示例”的文本文件中。保存到工作目录中创建的名为“./example.json/”的目录。") conf$'sparklyr.shell.executor-memory' <-
浏览 0提问于2018-10-06得票数 4
2回答
我正在使用sparklyr运行一些分析，但我也对使用DBI编写原始SQL查询感兴趣。我能够运行以下查询dataframe <- dbGetQuery(spark_connection, query)
但是，这会将数据返回给R(在数据格式中)。相反，我想要的是将数据保存在Spark中，并将其存储在另一个Spark</e
浏览 4提问于2017-06-16得票数 2
回答已采纳
我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？
浏览 16提问于2017-06-28得票数 6
1回答
我把一张表带到了Hue中，它有一列日期，我正在尝试使用Rstudio中的sparklyr来处理它。我想将字符列转换为日期列，如下所示：它运行良好，但当我检查：
如何正确地将chr转换为日期？
浏览 0提问于2017-09-27得票数 4
我想知道Julia是否有一个类似于R中的Sparklyr的软件包，可以处理内存不足的数据。我的数据是csv格式的11 GB。
我在Julia中安装了HPAT包，但我不确定它是否有助于处理大数据。此外，我注意到Julia中有一个Spark包，它有没有什么函数可以让我导入本地数据，就像Sparklyr中的spark_read_csv函数一样？
浏览 3提问于2017-06-22得票数 1
回答已采纳
2回答
我下载了spark版本2.3.1，并得到了以下错误：Failedto detect version from SPARK_HOME or SPARK_HOME_VERSION.Try passing the spark version explicitly.
在使用spark_availa
浏览 1提问于2018-07-13得票数 1
回答已采纳
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？
谢谢!
浏览 6提问于2020-11-06得票数 2
3回答
我想将本地桌面RStudio会话通过sparklyr连接到远程spark会话。当您在RStudio中的sparklyr选项卡中添加一个新连接并选择群集时，表示您必须在集群上运行，或者具有到集群的高带宽连接。library(sparklyr)
sc <- spark_connect(master = "spark://ip-
浏览 6提问于2016-09-30得票数 8
回答已采纳
1回答
Sparklyr未连接到数据库
、、、、
我正在尝试使用sparklyr或SparkR连接到数据库。install.packages("sparklyr")
sprk <-spark_connect(master = "local") # this code works per
浏览 0提问于2018-11-27得票数 1
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
腾讯云开发者
