如何在readConfig中为Spark中的mongo db添加uri和数据库？
在Spark中使用MongoDB时，可以通过在readConfig中添加uri和数据库来配置连接。具体步骤如下：
- 导入相关库：
import com.mongodb.spark._- 创建SparkSession对象：
val spark = SparkSession.builder()
.appName("MongoDB Example")
.config("spark.mongodb.input.uri", "mongodb://localhost/testDB.collectionName")
.config("spark.mongodb.output.uri", "mongodb://localhost/testDB.collectionName")
.getOrCreate()在上述代码中，通过config方法设置了spark.mongodb.input.uri和spark.mongodb.output.uri参数，分别指定了MongoDB的URI和数据库名称。
- 读取MongoDB数据：
val df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()这里使用spark.read方法读取MongoDB数据，通过format方法指定数据源为com.mongodb.spark.sql.DefaultSource。
完整的代码示例：
import com.mongodb.spark._
val spark = SparkSession.builder()
.appName("MongoDB Example")
.config("spark.mongodb.input.uri", "mongodb://localhost/testDB.collectionName")
.config("spark.mongodb.output.uri", "mongodb://localhost/testDB.collectionName")
.getOrCreate()
val df = spark.read.format("com.mongodb.spark.sql.DefaultSource").load()
df.show()需要注意的是，上述代码中的mongodb://localhost/testDB.collectionName是一个示例URI，你需要根据实际情况替换为你的MongoDB的URI和数据库名称。
推荐的腾讯云相关产品：腾讯云数据库 MongoDB，详情请参考腾讯云数据库 MongoDB。
相关·内容
2回答
我想从2个不同的Mongo数据库中创建2个数据集。我目前使用的是官方的MongoSpark连接器。sparkSession的启动方式如下。方法1：方法二：
Map
浏览 2提问于2017-02-16得票数 3
我有以下MongoDB集合：employee和details。 .set("spark.mongodb.input.uri","mongodb://localhost/Emp.employee")
浏览 0提问于2017-03-28得票数 1
我一直在尝试在Mongo和Spark建立联系@Bean return new SparkConf("spark.mongodb.output.uri", "mongodb://127.0.0.1/")
.set("spark.mongodb.in
浏览 1提问于2017-03-13得票数 2
我被一个奇怪的问题困住了。我正在尝试使用MongoDB火花连接器在本地连接Spark到mongodb。除了设置Apart之外，我还使用了以下代码：
val readConfig = ReadConfig(Map("uri" -> "mongodb://localhost:27017/movie_db.movie_ratings(Map("uri" -> "mongodb
浏览 23提问于2017-10-18得票数 8
回答已采纳
我的应用程序是使用MongoDB作为平台构建的。DB中的一个集合具有大量的数据量，并且选择了apache通过计算来检索和生成分析数据。我已经将配置为与MongoDB通信。我需要使用MongoDB吡火花查询来查询集合，并构建一个由mongodb查询结果集组成的数据集。请给我一个适当的解决办法。
浏览 5提问于2016-08-09得票数 3
回答已采纳
在Spark.mongo连接器中，可以在mongo中查询服务器长度，java和scala提供了有关查询不同集合的更多信息，如下所示：然后，在代码中可以指定另一个集合，设置配置，S
浏览 3提问于2016-08-23得票数 0
回答已采纳
我正在使用“mongo-火花”来读取Spark2.0应用程序中的mongodb。()val readConfig: ReadConfig = ReadConfig(Map( "collection" -&
浏览 4提问于2016-12-27得票数 2
回答已采纳
在下面的代码中，我尝试使用options map在readConfig中传递mongo uri和数据库。但是它给出的错误是找不到uri或数据库。Map<String, String> readOverrides = new HashMap<String, String>();
浏览 0提问于2017-02-23得票数 0
给定spark中的以下数据帧："Jane","ABC123",5,"AZ","DEF456&qu
浏览 1提问于2017-10-18得票数 0
我需要将CosmosDB( Azure API)连接到MongoDB Databricks集群，以便从cosmos读取和写入数据。
浏览 2提问于2018-11-28得票数 3
2回答
我在星火-2.1.0-bin-hadoop2.7，Scala 2.11.8和python3.5。." \
--packages org.mongodb.spark<
浏览 2提问于2017-05-26得票数 1
我是Apache的新手，我正在使用Scala和Mongodb来学习它。我试图从我的MongoDB数据库中读取RDD，我的笔记本脚本如下所示：import com.mongodb.spark._
valreadConfig = ReadConfig(Map("uri" -> "mongodb+s
浏览 4提问于2021-08-22得票数 1
回答已采纳
3回答
我想要创建一个独立的scala代码，它使用自定义设置从MongoDB读取，使用MongoDB网站中的。scalaVersion := "2.11.12"
"org.mongodb.spark" %% "mongo-spark
浏览 25提问于2020-06-10得票数 5
我正在尝试连接CosmosDB MongoDB API数据库中集群中的Python记事本。我正在使用mongo连接器2.11.2.4.2 Python 3ReadConfig = { &qu
浏览 3提问于2020-06-05得票数 0
回答已采纳
在火花提交作业(用Scala编写的.JAR)中，我需要访问现有的MongoDB，在db中创建一个新的集合，添加索引，从分布在1,000多个执行者的RDD中写入数据到集合中。我找不到一个能做到这一切的图书馆。现在，我使用mongo火花连接器从RDD写入，然后使用casbah创建索引。
mongo火花连接器( scaladoc在哪里？){MongoClient,MongoCollect
浏览 2提问于2017-10-31得票数 1
回答已采纳
1回答
假设在MongoDB中有多个DB2(DB1，DB2，.DBa，DBb，.)他们每个人都有一些收藏(Col1A，Col1B，.Col2A，Col2B，)readconfig_DB1.Col1A=Read setting pointing to DB=DB1 and collection=Col1A
re
浏览 5提问于2020-06-11得票数 2
我正在尝试从mongo数据库中读取一些文档，并在spark中解析模式。到目前为止，我已经成功地从mongo读取并使用由case类定义的模式将结果mongoRDD转换为DataFrame，但是有一种情况是，mongo集合有一个包含多个数据类型的字段(字符串数组和嵌套对象数组到目前为止，我只是将字段解析为一个字符串，然后使用spark的from_json()来解析新模
浏览 6提问于2020-03-04得票数 1
回答已采纳
我有以下代码，无法使用以下方法向Mongo写入数据。我甚至没有看到在MongoDB中填充数据库或集合名称。好像有什么不对劲。当我运行此代码时，没有任何例外。("spark.mongodb.output.uri", "mongodb://localhost/analytics.counters");
SparkSession sparkSession--conf "spark.mongodb.input
浏览 9提问于2017-09-12得票数 1
我有一个scala Spark应用程序，在将更新的数据加载到集合之前，我想取消设置Mongo集合中所有文档的字段。假设我有一个这样的数据源，我想从所有文档中删除“排名”字段(有些文档可能有这个字段，有些文档可能没有)。中有一个unset函数，但我在mongo spark connector中没有看到任何关于如何使用Spark来做这样的事情的文档。: Option[Int])
va
浏览 35提问于2021-07-24得票数 0
在学习Spark SQL时，我一直使用以下方法将集合注册到Spark SQL目录中并对其进行查询。") .load() .show() 但是，在查询它时，我似乎需要将它注册为临时视图，以便使用SparkSQLval readConfig = ReadConfig(Map("uri" -> &quo
浏览 25提问于2021-07-02得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
