我正在使用Kakfa和MongoDB，我的输出(Df1)是一个流数据帧，我想把它保存到Kakfa中。有什么建议吗？非常感谢！) .awaitTermination()
// save df1 into MongoDB
浏览 6提问于2019-09-26得票数 1
我在C:/Spark中的C驱动器中安装了Spark安装程序。我在c驱动器中使用以下命令克隆了MongoDB火花连接器-并在C驱动器中创建mongo-spark文件夹。当我在Spark文件夹中运行命令时-
C:\spark\bin>spark-shell --conf "spark.mongodb.input.uri=mongodb://127.0.0.1&#
浏览 4提问于2017-01-19得票数 1
mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？
pymongo只与mongo-hadoop一起使用吗？
浏览 2提问于2018-07-10得票数 0
2回答
我试图从spark中写信给MongoDB，为了试验目的，我正在启动spark 2外壳(火花版本=2.1.1.2.6.1.0-129)，如下所述:-并在其中运行以下代码：import org.apache.spark.sql{SaveMode, SparkS
浏览 3提问于2018-05-28得票数 0
回答已采纳
我试图通过java火花连接器与MongoDB连接，当我提交jar并在火花外壳中运行jar时，我得到了一个错误"com.mongodb.spark.config.writeconfig“。/bin/sparkR -conf "spark.mongodb.input.uri=mongodb://127.0.0.1/test.myCollection?/bin/sparkR -conf
浏览 5提问于2017-12-27得票数 1
回答已采纳
2回答
我正在尝试使用Mesos将Apache Spark连接到MongoDB。这是我的架构：现在我只在1个节点上安装了Spark。关于这方面的信息并不多。我只想提几个问题：
据我所知，我可以通过mesos将星火连接到MongoDB。换句话说，我最终使用MongoDB作为存储层。我真的需要Hadoop吗？是否强制将所有数
浏览 29提问于2016-08-17得票数 0
我正在尝试将数据从Spark (使用Databricks)写入Azure Cosmos DB(Mongo DB)。执行notebook时没有错误，但查询集合时出现以下错误。我已经使用了来自数据库网站azure-cosmosdb-spark_2.4.0_2.11-2.1.2-uber.jar.的jar我的版本是6.5 (包括Apache Spark 2.4.5，Scala2.11) import org.joda.time.format._
import com.microsoft.azure.cosmosdb.spark.
浏览 4提问于2020-06-12得票数 0
3回答
"Firstapp.scala代码import org.apache.spark.sql.SparkSession .config("spark.mongodb.output.uri&qu
浏览 25提问于2020-06-10得票数 5
我试图使用一个聚合函数来查询一个MongoDB集合，但是我无法执行与null的匹配。
浏览 3提问于2017-07-31得票数 1
回答已采纳
1回答
假设我有一个wordcount示例，其中我在一列中以word的形式获得数据，而在另一列中获得wordcount，则希望收集相同的数据，并将其存储为mongo集合中的json数组。|Word | Count || xyz | 23 |{words:[{word:"abc",count:1},{word:"xyz",count:23}]}
当我在dataframe上尝试.toJSON并将值收集为list并将其添加到dataframe时，存储在mongo中的结果是字符串的
浏览 2提问于2018-04-13得票数 3
2回答
我需要在MongoDB集合中工作，读和写。一切都很好。我使用下面的包开始使用MongoDB连接然而，问题在于它在命令行中，在命令行中编写大量代码变得非常困难
浏览 3提问于2017-10-14得票数 0
回答已采纳
3回答
无法通过星火连接到Mongo
、、、、
正在获得与火花主站的连接，如下所示：.config("spark.mongodb.input.uri", "mongodb://10.0.3.150/db1.data.coll")\
.config("spark.mongodb.output.uri", "<
浏览 16提问于2017-07-17得票数 3
回答已采纳
我想知道如何使用pyspark在mongodb中加载/导入CSV文件。我在桌面上有一个名为cal.csv的csv文件。有人能分享一下代码片段吗。
浏览 0提问于2018-09-28得票数 1
回答已采纳
my_spark = SparkSession \ .builder \ .appName("DGLE") \ JDBC.write.format("com.mongodb.spark.sql.DefaultSourc
浏览 0提问于2019-01-12得票数 1
") \ .config("spark.mongodb.output.uri", "mongodb://127.0.0.1/example.collection&
浏览 12提问于2017-08-16得票数 3
回答已采纳
我正在尝试使用MongoDB火花连接器在本地连接Spark到mongodb。除了设置Apart之外，我还使用了以下代码：
val readConfig = ReadConfig(Map("uri" -> "mongodb://localhost:27017/movie_db.movie_ratingsreadPreference.name" -> "secondaryPreferred"), Some(ReadConfig
浏览 23提问于2017-10-18得票数 8
回答已采纳
我正在比较MongoDB和Spark之间的查询执行时间。具体来说，我从一个MongoDB文件中创建了一个由100万条条目组成的.csv集合，并使用Compass中的mongosh运行了一些查询。然后，使用Spark和Spark连接器，我将这个数据库从MongoDB插入到Spark中，作为一个RDD。之后，我将RDD转换为Dataframe，并开始在其上运行Spark查询。我在Spark上运行与MongoDB<
浏览 7提问于2022-01-04得票数 -1
回答已采纳
我正试图按如下方式将spark (pyspark)连接到mongodb：conf.set('spark.mongodb.input.uri', default_mongo_uri(sc) .builder \ .config("spark.mongodb.input.ur
浏览 1提问于2018-06-21得票数 11
我想将数据保存到MongoDB中，同时从推特上流式传输数据。: clusterListener can not be nullval sparkVersion = "" % sparkVersion, "org.apache.
浏览 2提问于2018-05-27得票数 0
from pyspark.sql import SparkSession .builder \ .config("spark<
浏览 11提问于2022-05-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
