我有一个函数，它接受一个字符串，并使用子字符串从字符串中提取值，然后使用这些值查询Cassandra表。for (line <- Source.fromFile("file.txt").getLines()) {}val line = sc.textFile("
浏览 2提问于2016-06-22得票数 0
1回答
我被一个特定的scala-spark语法卡住了，我希望您能引导我朝着正确的方向前进。如果RDD1是数组类型(( Float，Float，Float)，Long)，RDD2.collect =数组(1，3，5...)
从索引出现在RDD2中的RDD1中提取值</e
浏览 0提问于2016-11-01得票数 1
在下面的代码中，我尝试使用options map在readConfig中传递mongo uri和数据库。但是它给出的错误是找不到uri或数据库。public JavaMongoRDD<Document> getRDDFromDS(DataSourceInfo ds, String collectionName){ + PropertiesFileEncryptorUtil.decryptData(ds.getDbUsername()) + "
浏览 0提问于2017-02-23得票数 0
如果我们在RDD上执行了缓存()，那么它的值只缓存在那些最初计算RDD的节点上。这意味着，如果有一个由100个节点组成的集群，并且在第一和第二节点的分区中计算RDD。如果我们缓存了这个RDD，那么Spark将只在第一个或第二个工作节点中缓存它的值。因此，当这个Spark应用程序在以后的阶段尝试使用这个RDD时，那么Spark驱动程序必须从第一个/第二个节点获取值。(或)
是RDD</
浏览 3提问于2016-08-28得票数 23
回答已采纳
我不确定这是不是一个bug，所以如果你这样做d.distinct().map(x => d.filter(_.equals(x)))
您将获得一个Java
浏览 1提问于2012-12-08得票数 7
回答已采纳
尝试在我的本地系统上做这件事需要很长时间，所以我想把它租给一个我可以访问的spark集群，而不是使用MLLib例程。虽然我已经设法将pandas数据帧加载为spark数据帧，但我对如何在MLLib例程中使用它感到有点困惑。我不太熟悉MLLib，它似乎只接受LabeledPoint数据类型。我非常感谢任何想法/指针/代码来解释如何使用(pandas或spark)数据帧作为MLLib算法的输入-无论是直接还是间接地，通过转换为支持的类型。
谢谢。
浏览 1提问于2015-05-06得票数 0
相似
有没有办法从运行在AWS上的雪花数据库中执行此操作？
浏览 3提问于2018-11-08得票数 1
回答已采纳
我是Apache Spark Streaming的新手。正在尝试构建Spark以从Kinesis Stream中读取值。at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)at org.apache.spark.rdd</
浏览 1提问于2016-11-25得票数 0
4回答
在访问Spark时，我有一个关于在闭包中使用局部变量的问题。我想解决的问题如下：
list_of_filenames = ['file_from_Ernie.txt
浏览 1提问于2015-01-28得票数 6
回答已采纳
2回答
我正在尝试开发一个spark应用程序，该应用程序可以从两个不同的Oracle数据库中获取数据并对它们进行处理。
可能是我从两个数据库中提取的加入RDD来创建一个新的RDD。我可以在一个spark应用程序中创建不同的数据库连接吗？
浏览 2提问于2016-10-15得票数 1
回答已采纳
我试图通过将用户的RDD映射到模型的recommendProducts方法来从MatrixFactorizationModel中提取预测。这给了我一个MapPartitionsRDD。然后，尝试减少或以其他方式访问此RDD会给我一个Spark异常。._import org.apache.spark.mllib.recommendation.For more information, see
浏览 0提问于2016-02-03得票数 2
我想从数据流中的rdds中提取样本。因为数据流没有sample()转换，它是一个rdds序列，所以我这样做是为了从数据流中提取样本，并对其应用字数计数：from pysparkimport SparkConf
conf=SparkConf()
浏览 8提问于2016-08-19得票数 0
回答已采纳
我创建了一个配置，允许我在使用spark-shell命令启动--config时直接从ES中以JSON的形式获取一些数据；我还导入了elasticsearch-hadoop的--jar。一旦我启动了星火，我做了以下几件事：val rdd = sc.esRDD("my-index")res9: Class[_ <: org.apache.spark</
浏览 3提问于2017-05-11得票数 0
回答已采纳
1回答
我加入了Spark RDD的Cassandra table (查找)，但不能理解一些事情。将range_start和range_end之间的所有记录从Cassandra table中触发，然后将其与火花内存中的RDD连接起来，或者将从RDD到Cassandra的所有值按下，并在那里执行连接。(Cassandra或Spark)
Spark是否总是从Cassandra中提取相同数量的记录，无论应用什么限制(1或1000)？val df
浏览 1提问于2020-03-13得票数 0
3回答
._import org.apache.spark.streaming.kafka010import org.apache.spark.streaming._
def main(args: Array[Stringat org.apache.spark.util.EventL
浏览 7提问于2016-11-13得票数 15
回答已采纳
运行以下通过火花提交(spark.default.parallelism未设置)println("Partititon
浏览 2提问于2016-02-13得票数 8
我让连接正常工作，但两天后，从表中提取数据出现了问题。星火的配置没什么改变..。org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:277)
at org.apache.spark.rdd.RDD.iteratororg.apache.spark.rdd.RDD.computeOrReadCheckpoint
浏览 6提问于2015-09-24得票数 1
回答已采纳
ClosureCleaner.scala:122) at org.apache.spark.SparkContext.clean(SparkContext.scala:2032) at org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:314)org.apache.spark.rdd.RDD$$anonfun$map$1.apply(RDD.scala:313) at or
浏览 6提问于2017-06-02得票数 0
回答已采纳
我想了解RDD、dataframe和数据集之间的区别。在这种情况下，当我从s3加载数据时，什么是RDD？另外，由于rdd是不可变的，所以我可以更改df的值，这样df就不能是RDD。
感谢有人能解释RDD、dataframe和数据集之
浏览 1提问于2019-08-20得票数 2
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
