我正在转换我的原始R代码，使其适用于使用sparklyr包的火花。我使用lubridate包来计算两个日期之间的持续时间。在R中，这将导致duration数据类型，然后可以将其转换为numeric数据类型，如下面的示例所示。sparklyr在Spark dataframe上执行完全相同的转换<
浏览 23提问于2021-02-17得票数 1
在R中，整数除法运算符是%/%；但是，这在sparklyr创建的spark数据帧中不能正常工作。例如，以某种方式将20141025转换为201410.2。在小插曲中，sparklyr并没有说它支持%/%。那么应该如何使用sparklyr来完成整数除法呢
目前我正在做floor(a / b)，但我想知道是否有一个简单的
浏览 0提问于2018-06-05得票数 1
1回答
S3桶中的对象大小为5.3GB。为了将对象转换为数据，我使用了get_object("link to bucket path")。但这会导致记忆问题。因此，我在RStudio中安装了Spark2.3.0，并试图将该对象直接加载到Spark中，但是直接将对象加载到Spark中的命令不为人所知。library(sparklyr) library(dplyr) sc
浏览 2提问于2018-07-30得票数 0
回答已采纳
1回答
Note -我已经引用了，但是虽然数据是不嵌套的，但我无法将数据转换为csv文件格式。Introduction
R代码是通过使用Sparklyr包来创建数据库模式来编写的。给出了可复制的代码和数据库。然后将编号的<
浏览 0提问于2018-10-06得票数 4
1回答
如何将SparkR中的SparkDataFrame转换为sparklyr中的tbl_spark有什么建议可以解决这个问题吗？
谢谢!
浏览 6提问于2020-11-06得票数 2
2回答
在google计算集群中，我正在尝试使用sparklyr包将csv文件读取到strudio中。配置如下：install.packages("sparklyr")
spark_install(version = "1.6.2")
Sys.setenv(
浏览 1提问于2017-04-05得票数 0
2回答
aDataFrame %>% mutate(newValue=gsub("-","",d)))}Error: org.apache.spark.sql.AnalysisException(SessionCatalog.scala:787) at org.apache.s
浏览 4提问于2016-10-27得票数 3
回答已采纳
7回答
有没有人概述一下SparkR和sparklyr的优缺点？谷歌没有产生任何令人满意的结果，两者似乎相当相似。尝试这两种方式，SparkR看起来要麻烦得多，而sparklyr非常简单(既要安装，也要使用，特别是在使用dplyr输入时)。sparklyr只能用于并行运行dplyr函数，还是“普通”的R-Code？
最好的
浏览 0提问于2016-09-14得票数 53
3回答
我试过像这样使用这个，但我无法让它工作。import SQLContext
df = sqlContext.read.format("com.github.saurfang.sas.sparko878.load.
: java.lang.ClassNotFoundException: Failed to find data source: com.github.saurfang.sas.sparkPlease find packages at http:/
浏览 2提问于2018-08-21得票数 2
回答已采纳
1回答
希望将一些R代码转换为Sparklyr，函数如lmtest::coeftest()和三明治：：三明治()。尝试开始使用Sparklyr扩展，但对Spark非常陌生，并且有问题:(第一步是使用linalg库创建一个对象：library(dplyr)
sc <- spark
浏览 2提问于2017-06-17得票数 14
回答已采纳
1回答
我有一个星火数据框架(带有R中的"sparklyr“包)，其中包含来自3个数据源(新闻、博客和twitter)的单词计数。我试图使用collect()将数据从Spark复制到R的内存中。在使用sparklyr计算了几个具有文本挖掘功能的单词之后，我有以下内容：
# Source: spa
浏览 2提问于2021-04-18得票数 1
3回答
我有一些在sparklyr中转换为时间戳的unix时间，出于某些原因，我也需要将它们转换为字符串。 over
浏览 1提问于2018-03-19得票数 5
回答已采纳
我正在尝试使用sparklyr::ml_logistic_regression拟合逻辑回归模型。我的训练数据集包含42,457行和785列；响应是label列中的0/1整数，其余所有列都是0/1整数特性。我的源数据在R数据帧(df)中，我可以使用glm(label ~ ., data = df, family = binomial)将模型成功地拟合到基础R中。不
浏览 33提问于2017-06-28得票数 2
这个问题的要点是，我有一些R代码，它在本地数据帧上工作得很好，但在Spark数据帧上失败了，即使在其他情况下两个表是相同的。在R中，给定所有字符列的数据帧，可以动态地将所有列类型转换为numeric，然后使用以下代码将其安全地转换为numeric： require(dplyr)require但对于其他数据帧，我希望这段代码在Spark
浏览 16提问于2020-08-18得票数 0
回答已采纳
1回答
我在Java中遇到了这个问题，使用Log4j登录到Server数据库。当您试图将数据插入超出其大小或限制的列时，通常会抛出它，但不幸的是，这不是我的情况。它记录了几秒钟完美然后..。轰隆隆！我发送包含IP地址的字符串：我发现了这个：
表达式可能无意中导致数据被截断。例如，使用DT_WSTR数据类型<
浏览 3提问于2013-07-23得票数 1
回答已采纳
1回答
- dplyr::copy_to(sc, mtcars, "mtcars")因此，在上面的示例中，我希望将mean()函数应用于"当使用Spark，特别是sparklyr时，dbplyr将尝试将此代码转换为SQL并将其发送到Spark。我的理解是dbplyr适用以下规则：
如果可以找到与S
浏览 3提问于2021-02-18得票数 4
回答已采纳
我正在使用R连接到sparklyr的Spark，我可以做一些事情，例如，使用sparklyr::copy_to将数据加载到Spark中。但是，我无法让sparklyr::spark_read_csv工作。我试图加载的数据位于容器中映射的本地目录中。当附加到正在运行的容器时，我可以看到，我试图加
浏览 5提问于2022-06-13得票数 0
1回答
统计每行的字数
、、、、
我正在尝试使用sparklyr将R代码移动到spark中，为了做以下事情，我遇到了一些函数方面的问题： -Count一行总字数:例如word=“你好，你好”，字数:4 -Count第一个字的总字符数:例如: word=“你好，你好，你好吗”，第一个字的字符数:5 -Count第一个单词的总字符数:例如: word=“你好，你好”，第二个单词的字符
浏览 8提问于2019-04-17得票数 0
1回答
我需要将一个10 to的固定宽度文件读到一个数据帧中。我如何在R中使用Spark来做呢？假设我的文本数据如下："0002USAmarina ",我希望前4个字符与数据框的列"ID“关联；从字符5-7关联到列"Country"；从字符</e
浏览 6提问于2019-03-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
