无法使用jdbc将spark数据集写入数据库
问题描述： 无法使用jdbc将spark数据集写入数据库。
回答： 在使用Spark将数据集写入数据库时，可以使用JDBC连接来实现。但是，如果无法使用JDBC将Spark数据集写入数据库，可能是由于以下几个原因：
- 数据库驱动未正确配置：确保已正确配置数据库驱动程序。根据使用的数据库类型，选择相应的驱动程序，并将其添加到Spark的classpath中。
- 数据库连接参数错误：检查数据库连接参数是否正确。包括数据库URL、用户名、密码等。确保这些参数与数据库配置相匹配。
- 数据库访问权限问题：确保数据库用户具有足够的权限来执行写入操作。如果没有足够的权限，可以联系数据库管理员进行授权。
- 数据表不存在：如果要写入的数据表不存在，需要先创建该表。可以使用SQL语句或者通过ORM框架创建表结构。
- 数据类型不匹配：确保Spark数据集的数据类型与数据库表的列类型相匹配。如果类型不匹配，可能会导致写入失败。
解决这个问题的方法是：
- 确保数据库驱动程序已正确配置，并添加到Spark的classpath中。
- 检查数据库连接参数是否正确，并与数据库配置相匹配。
- 确保数据库用户具有足够的权限来执行写入操作。
- 如果数据表不存在，可以使用SQL语句或者ORM框架创建表结构。
- 确保Spark数据集的数据类型与数据库表的列类型相匹配。
推荐的腾讯云相关产品：腾讯云数据库MySQL、腾讯云数据库PostgreSQL等。这些产品提供了稳定可靠的数据库服务，可以与Spark进行集成，并提供了相应的文档和示例代码供参考。
腾讯云数据库MySQL产品介绍链接地址：https://cloud.tencent.com/product/cdb 腾讯云数据库PostgreSQL产品介绍链接地址：https://cloud.tencent.com/product/postgres
相关·内容
1回答
我正在尝试从sql服务器数据库中获取数据，并创建一个spark数据集。当我将数据集持久化到orientdb时，无法做到这一点。
下降到误差以下
线程“主”'jdbc:orient:REMOTE:localhost/test'中的异常:连接异常发生:打开数据库java.lang.RuntimeException时出错
这是我的代码：
Map<String, String> options = new HashMap<>();
options.put("driver", "com.microsoft.sqlserver
浏览 2提问于2017-02-28得票数 0
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：
import os
import sys
os.environ['SPARK_HOME']="/home/x/spark-1.5.2"
sys.path.append("/home/x/spark-1.5.2/python/")
try:
from pyspark import SparkContext, Spar
浏览 2提问于2015-12-30得票数 1
目前，我们的数据库托管在其他数据库中。我们正在考虑使用JDBC连接器在SPARK中执行流程。是否可以在连接数据源之后使用SPARK.SQL语句，还是必须加载数据才能使用spark.sql查询？
浏览 3提问于2022-08-11得票数 -1
我正在为azure sql.I在azure databricks中创建一个元存储。我给出了使用7.3运行时的集群配置的以下命令。如文档中所述
spark.hadoop.javax.jdo.option.ConnectionDriverName com.microsoft.sqlserver.jdbc.SQLServerDriver
spark.hadoop.javax.jdo.option.ConnectionURL jdbc:sqlserver://xxx.database.windows.net:1433;database=hivemetastore
spark.hadoop.javax.
浏览 23提问于2021-11-24得票数 0
1回答
Spark JDBC中的编码选项
、、、、
我想使用Spark JDBC以特定的字符集编码(如us-ascii )从Oracle DB读取数据，但我无法这样做。
我根据此尝试的代码
val res=spark.read.format("jdbc")
.option("url", url)
.option("user", "userid")
.option("password", "pwd")
.option("driver","oracle.jdbc.OracleDriver")
.opti
浏览 1提问于2021-03-28得票数 3
1回答
首先，我在Amazon上使用Spark1.5.2，在postgres数据库中使用Amazon。
我目前正致力于让Spark将其结果写入postgres数据库，我正在使用Spark的jdbc进行此操作。当它正常工作时，我担心的是，如果我试图在Spark运行时使用psql连接到db，然后尝试从Spark正在写入的表中读取，它就会告诉我还没有写行。这种情况一直持续到火花结束，然后所有的行突然出现在数据库中。
这让我很担心，因为最终的设置应该是定期运行Spark脚本，并将更多的数据写入数据库，而网站应该使用该数据库。这是否意味着我无法在Spark运行时查询数据库？
你猜这里的问题是什么？我认为这可能是
浏览 1提问于2016-01-21得票数 0
回答已采纳
1回答
我试图使用下面的代码将存储在Azure数据湖Gen2上的json文档导入Server数据库，但遇到以下错误。但是，当我从Server读取数据时，jdbc连接可以工作。
错误消息： The driver could not open a JDBC connection.
代码：
df = spark.read.format('json').load("wasbs://<file_system>@<storage-account-name>.blob.core.windows.net/empDir/data";)
val blobStorag
浏览 3提问于2020-08-21得票数 0
回答已采纳
我可以使用以下代码从Master节点中的Oracle数据库中读取数据：
val spark = SparkSession
.builder
.master("local[4]")
.config("spark.executor.memory", "8g")
.config("spark.executor.cores", 4)
.config("spark.task.cpus",1)
浏览 1提问于2021-10-16得票数 2
1回答
将自定义SQL查询发送到Python上的SQL数据库是非常直接的。
connection = mysql.connector.connect(host='localhost',
database='Electronics',
user='pynative',
password='pynative@#29')
s
浏览 3提问于2020-09-20得票数 0
2回答
我正在编写一个与Spark的JDBC数据源实现有相似之处的数据源，我想问一下Spark是如何处理某些故障场景的。据我所知，如果执行者在运行任务时死亡，火花将激活执行者并尝试重新运行该任务。但是，这在数据完整性和Spark的JDBC (例如df.write.format("jdbc").option(...).save())的上下文中是如何实现的呢？
在savePartition函数的中，我们看到Spark调用了从用户提供的数据库url/凭据生成的Java对象的提交和回滚函数(见下文)。但是，如果一个执行器在commit()完成后或rollback()调用之前就死了，那么Spar
浏览 1提问于2019-01-09得票数 5
回答已采纳
目前，我正在使用JDBC驱动程序将数据从MySQL数据库导入到spark中，使用以下命令：
dataframe_mysql = sqlctx
.read
.format("jdbc")
.option("url", "jdbc:mysql://<IP-ADDRESS>:3306/<DATABASE>")
.option("driver", "com.mysql.jdbc.Driver")
.option("dbtable", "
浏览 4提问于2017-08-11得票数 3
2回答
我想将数据从Oracle数据库导入到Hadoop，并考虑使用Sqoop。当我尝试时，我发现Oracle和Hadoop的数据连接器是断开的。
2019-07-18 09:19:58,203 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.oracle.OraOopManagerFactory - Data Connector for Oracle and Hadoop is disabled.
我联系了系统管理员，告诉我，我们的Sqoop目前还没有为Oracle数据库配置，而且不会配置。相反，他们建议使用下面的pyspark脚本。
我在C
浏览 0提问于2019-07-29得票数 2
回答已采纳
我试图弄清楚如何使用新的DataFrameWriter将数据写回JDBC数据库。我似乎找不到这方面的任何文档，尽管看一下源代码，它似乎是可能的。
下面是我正在尝试的一个简单的例子：
sqlContext.read.format("jdbc").options(Map(
"url" -> "jdbc:mysql://localhost/foo", "dbtable" -> "foo.bar")
).select("some_column", "another_column
浏览 0提问于2015-09-16得票数 7
1回答
我正在尝试使用提供的教程从Azure Synapse池中读取数据
我已经设置了存储帐户访问键"fs.azure.account.key..blob.core.windows.net“，并以abfss格式为ADLS指定了临时目录。
读取操作的语法如下：
x=spark.read.format('com.databricks.spark.sqldw').option('url',sqlDwUrl).option('tempDir',tempdir).option('forwardSparkAzureStorageCredentials
浏览 11提问于2021-10-20得票数 0
回答已采纳
我试图使用Pyspark连接插入到现有的Mysql表中，但是我得到了以下错误
File "<stdin>", line 1, in <module>
File "/usr/hdp/current/spark2-client/python/pyspark/sql/context.py", line 384, in sql
return self.sparkSession.sql(sqlQuery)
File "/usr/hdp/current/spark2-client/python/pyspark/sql/se
浏览 0提问于2020-07-17得票数 0
回答已采纳
我有一个由col0分区的数据；col0的DF值中有许多行。我有一个数据库，我想使用每个分区中的col0值从数据库中获取批数据，但是在我的一生中，我无法弄清楚如何使用foreachPartition，因为它返回一个Iterator[Row]。
下面是我想要做的事情的伪代码：
var df = spark.read.parquet(...).repartition(numPartitions, "col0")
df.foreachPartition((part_df : DataFrame) => {
val values = part_df.select("co
浏览 0提问于2018-10-05得票数 0
回答已采纳
这听起来很奇怪，我有一个oracle数据库，我试图通过spark从oracle数据库中进行选择，但是我查找的数据确实在数据库中，但我在scala启动的请求中找不到它。因此，我试图计算退出数据的数量。
select count (*) from TMP_STRUCTURE
从甲骨文控制台我得到了373799
当我把
val sparkSession = SparkSession.builder.master("local").appName("spark session example").getOrCreate()
//connect to table
浏览 1提问于2017-08-25得票数 0
回答已采纳
我正在尝试运行这样一个PySpark应用程序：
with SparkSession.builder.appName(f"Spark App").getOrCreate() as spark:
dataframe_mysql = spark.read.format('jdbc').options(
url="jdbc:mysql://.../...",
driver='com.mysql.cj.jdbc.Driver',
dbtable='my_table',
浏览 3提问于2022-08-12得票数 0
回答已采纳
1回答
我在Spark中有一个需求，在那里我需要从mysql实例中获取数据，在经过一些处理之后，可以从一个不同的mysql数据库中获取更多的数据。
但是，当我试图再次从map函数中访问数据库时，我会得到一个
org.apache.spark.SparkException: Task not serializable
org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)
org.apache.spark.util.ClosureCleaner$.org$apache$spark$ut
浏览 0提问于2018-03-12得票数 1
回答已采纳
对于以下操作，要在spark中运行sql语句，将PostgreSQL中的两个表连接起来：
val df = spark.read.jdbc(url, 'select * from table_1 join table_2 on a where x', connproperties);
数据库引擎会执行连接操作并将连接结果发回吗？或者数据库会将table_1和table_2的所有记录发送给火花作业和火花作业，这样加入吗？有什么文件来解释这个操作吗？谢谢!
浏览 3提问于2021-04-14得票数 0
回答已采纳
我想使用Spark的JDBC从数据库中读取数据。我将使用200个执行者来读取数据。
我的问题是，如果我提供了200个执行器，那么它会创建到集中式数据库(JDBC)的200个连接，还是会从具有单个连接的驱动程序中获取数据？
浏览 1提问于2018-05-17得票数 2
我想在Superset中查看Mariadb的数据。我认为从Mariadb --> Spark --> Superset获取数据可能是最好的解决方案，因为我还将在H2o闪光水中使用Spark。
1.我尝试过pip3安装mysqlclient，但得到了以下错误：
ERROR: Command "/bin/python3 -u -c 'import setuptools, tokenize; ... failed with error code 1 in /tmp/pip-install-kslmastj/mysqlclient/
2.我尝试了使用2个配置文件，但我认为在
浏览 1提问于2019-06-29得票数 3
1回答
我正在一个Scala + Spark项目中工作，在该项目中，我们将数据从文件加载到PostgreSQL中。它在独立模式下使用jdbc.write在本地运行良好，测试数据很小。
但是由于生产数据是巨大的，我想使用一个集群，每个执行者拥有多个工作人员和一个逻辑处理器核心。
考虑到这一点，我如何在集群中的所有可用核之间划分数据？
谢谢!
PS:使用Scala2.13.9和Spark3.3.0
浏览 4提问于2022-10-12得票数 1
回答已采纳
我希望使用Azure数据块中的SQL将Spark表的结果插入到新的SQL Synapse表中。
我尝试了以下解释，https://learn.microsoft.com/en-us/azure/databricks/spark/latest/spark-sql/language-manual/sql-ref-syntax-ddl-create-table-datasource，但我没有运气。
必须根据SELECT语句的结果创建Synapse表。源应该是星火/数据砖、临时视图或Parquet源。
例如临时表
# Load Taxi Location Data from Azure Syn
浏览 6提问于2020-10-31得票数 0
1)我正在阅读Postgres的表格，如下所示，并创建了一个dataframe
df = spark.read.format("jdbc").option("url", url). \
option("query", "SELECT * FROM test_spark"). \
load()
2)更新dataframe df中的一个值。
newDf = df.withColumn('id',F.when(df[&
浏览 4提问于2020-06-19得票数 0
2回答
我试图使用以下代码加载数据集以触发：
Dataset<Row> dataset = spark.read().jdbc(RPP_CONNECTION_URL, creditoDia3, rppDBProperties));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia2, rppDBProperties)));
dataset = dataset.union(spark.read().jdbc(RPP_CONNECTION_URL, creditoDia, rppDBProperti
浏览 3提问于2018-01-15得票数 1
回答已采纳
2回答
我试图将火花流数据直接插入到Amazon集群中，但无法找到正确的方法。
下面是我得到的代码，但它第一次插入S3，然后复制到Redshift：。
#REDSHIFT_JDBC_URL = "jdbc:redshift://%s:5439/%s" % (REDSHIFT_SERVER, DATABASE)
df.write \
.format("com.databricks.spark.redshift") \
.option("url", REDSHIFT_JDBC_URL) \
.option("dbtable&
浏览 0提问于2018-01-29得票数 0
回答已采纳
我正在从teradata数据库中加载数据，如下所示：
df = spark.read.format("jdbc").option("url", "jdbc:teradata://url_of_teradata_db/MAYBENULL=ON,TYPE=FASTEXPORT,charset=ASCII").option("dbtable", "({}) as subq".format(req)).option("driver", "com.teradata.jdbc.TeraDriver
浏览 10提问于2022-05-04得票数 0
1回答
我正在使用pyspark将JDBC连接到Denodo数据库。连接到的表包含2列的"TIMESTAMP_WITH_TIMEZONE“数据类型。由于spark提供了到少数dbs的内置jdbc连接(其中的not并不是其中的一部分)，所以它无法识别"TIMESTAMP_WITH_TIMEZONE“数据类型，因此无法映射到它的任何sql数据。为了克服这一问题，我提供了我的自定义模式(这里是c_schema)，但是这个模式不起作用，而且我也得到了相同的错误。下面是代码片段。
c_schema="game start date TIMESTAMP,game end date TIME
浏览 10提问于2022-02-03得票数 0
回答已采纳
我正在使用Apache spark从Oracle数据库中加载数据集，使用jdbc格式在Spark-Java.I中。我正在加载一个大小为10M和1M的数据集，并在dataset.After上执行各种操作。所有处理都完成了，我正在将多个数据集写入数据库，这几乎消耗了90%的时间。那么，如何降低这种写入Oracle数据库的速度呢？我尝试了执行器的各种组合--内存、核心、执行器的数量，但没有得到很大的差别。用于运行apache spark构建的jar文件的命令是：
./spark-submit --class com.sample.Transformation --conf spark.sql.shu
浏览 0提问于2018-08-23得票数 0
1回答
从2017年10月起，是否有可能将Sparklyr火花数据帧写入Server？
我发现了一个错误：
> DBI::dbWriteTable(con, "DZ_test", for_test)
Error in (function (classes, fdef, mtable) :
unable to find an inherited method for function ‘dbWriteTable’ for signature
‘"Microsoft SQL Server", "character", "tbl_spa
浏览 7提问于2017-10-23得票数 3
回答已采纳
2回答
我正在尝试将星火数据集写入现有的postgresql表中(不能像列类型一样更改表元数据)。这个表中的一个列是类型的，它造成了麻烦。
在启动写入时，我看到了以下异常(此处原始映射为空，转义时为空字符串)：
Caused by: java.sql.BatchUpdateException: Batch entry 0 INSERT INTO part_d3da09549b713bbdcd95eb6095f929c8 (.., "my_hstore_column", ..) VALUES (..,'',..) was aborted. Call getNextExc
浏览 4提问于2016-12-05得票数 7
回答已采纳
1回答
我正在从spark应用程序连接到一个MySql DB (星火-2.0.0-bin-hadoop2.7)。当连接时，我得到以下错误。
这是我的代码：
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName("LoadMySql")
.setMaster("local[*]")
.set("spark.sql.warehouse.dir", "file:///C:/temp")
val spark = Sp
浏览 1提问于2018-09-25得票数 0
1回答
什么是最有效的内存方式来复制大型关系表的内容，然后用parquet格式写入分区的Hive表(没有sqoop)。我有一个基本的spark应用程序，我已经用spark的jdbc做了一些其他的调优，但是关系表中的数据仍然是0.5TB和20亿条记录，所以我虽然可以懒惰地加载完整的表，但我正在努力弄清楚如何根据日期有效地分区，并保存到hdfs中，而不会遇到内存问题。由于spark中的jdbc load()将将所有内容加载到内存中，所以我考虑循环遍历数据库查询中的日期，但仍然不知道如何确保内存不会耗尽。
浏览 5提问于2017-06-22得票数 1
我试图通过JDBC使用spark发送SQL查询，使用：
var s =
SparkSession.builder()
.master("local[4]")
.config("url", "jdbc:oracle:thin:@host/service")
.config("username", "username")
.config("password", "passwor
浏览 1提问于2019-10-15得票数 0
回答已采纳
1回答
我试图通过SQLContext.sql在Spark应用程序中从MSSQL数据库中选择数据。连接可以工作，但我无法从表中选择数据，因为它总是在表名上失败。
这是我的代码：
val prop=new Properties()
val url2="jdbc:jtds:sqlserver://servername;instance=MSSQLSERVER;user=sa;password=Pass;"
prop.setProperty("user","username")
prop.setProperty("driver" ,
浏览 0提问于2017-07-13得票数 1
回答已采纳
1回答
我试图从Azure事件中心读取数据，并以火花流模式将此数据存储到Mysql表中。
下面是我的电火花代码
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
from pyspark.sql.types import *
import json
from datetime import datetime as dt
from pyspark.sql import DataFrameWriter
try:
session = SparkSession.builder.master("lo
浏览 10提问于2021-12-22得票数 1
回答已采纳
我可以将数据帧记录加载到Oracle数据库中，没有任何错误，但我想知道如何将Df中的列映射到Oracle 我想以JDBC write格式将Employee_id字段从DataFrame映射到oracle中的ID列。 列映射： df ---------- Oracle
Employee_id ---------- ID
targetdf=spark.sql(final_sql)
targetdf.show()
targetdf.write \
.format("jdbc") \
.option("url", "
浏览 21提问于2020-11-27得票数 0
最终，我想从Vertica DB获取数据到Spark，训练机器学习模型，进行预测，并将这些预测存储到另一个Vertica DB中。
当前的问题是识别流的最后一部分中的瓶颈:从Spark存储Vertica DB中的值。在Vertica DB中存储63k行数据大约需要38分钟。相比之下，当我将相同的数据从Spark传输到MySQL数据库时，需要10秒。
我不知道为什么有这么大的差别。
我有名为VerticaContext和MySQLContext的类，分别用于Vertica和MySQL连接。两个类都使用来使用jdbc格式读取条目。
df = self._sqlContext.read.format
浏览 3提问于2016-04-19得票数 0
我的最终目标是让apache spark使用jdbc连接到mysql数据库，以便在scala中传输映射的RDD数据。这样做会导致一个错误，说明我正在使用的简单jdbc代码无法序列化。如何允许对jdbc类进行序列化？
浏览 0提问于2014-07-19得票数 2
我使用MySql数据库从LIMIT和OFFSET获取大量数据，如下所示：
var offset = 0
for (s <- a to partition) {
val query = "(select * from destination LIMIT 100000 OFFSET " + offset + ") as src"
data = data.union(spark.read.jdbc(url, query, connectionProperties).rdd.map(_.mkString(","))).persist(St
浏览 3提问于2017-07-21得票数 0
回答已采纳
我想把输出数据导入mysql数据库，但是发生以下错误，我不会将数组转换成所需的字符串类型，能帮我吗？
val Array(trainingData, testData) = msgDF.randomSplit(Array(0.9, 0.1))
val pipeline = new Pipeline().setStages(Array(labelIndexer, word2Vec, mlpc, labelConverter))
val model = pipeline.fit(trainingData)
val predictionResultDF = model.tr
浏览 0提问于2018-05-06得票数 2
回答已采纳
1回答
我尝试从另一个服务器流数据到HBase，并能够在Python语言中定义不同的列族。我看了看Spark文档，只看到：
writestream.format('jdbc').start('jdbc:///')
如何使用相同的实现直接写入HBase，并能够将数据映射到不同的列族？
浏览 0提问于2017-04-24得票数 0
1回答
我需要将我的spark数据集写入oracle数据库表。我正在使用带有追加模式的数据集写入方法。但是当使用spark2-submit命令在集群上触发spark作业时，会出现分析异常。 我已经读取了json文件，将其扁平化，并将其设置为abcDataset数据集。 Spark版本-2 Oracle数据库JDBC驱动程序- oracle.jdbc.driver.OracleDriver编程语言- Java Dataset<Row> abcDataset= dataframe.select(col('abc').....{and other columns};
Pro
浏览 51提问于2019-05-15得票数 0
我使用Spark JDBC将数据摄取到Mysql表中。如果表不存在，它还会创建一个表。许多文本都有特殊字符。如果遇到任何特殊字符，则表示摄取失败。我通过在MySQL表中手动设置字符集utf8解决了这个问题。
是否可以在spark JDBC中创建表的时候设置CHARACTER SET utf8？
我使用DataFrames将数据保存到MySQL中。
df.write
.format("jdbc")
.option("url", "jdbc:mysql://localhost")
.option("dbtable", &#
浏览 95提问于2018-12-18得票数 2
回答已采纳
我使用的VM与2 SP 01。在一个小型测试集群上，我用Spark1.6.3安装了Hortonworks数据平台2.6，并添加了HANA Vora 1.4和Spark Controller 2.1。
我遵循SAP安装和管理指南：，直到第2.9章。一切都很好，但是Zeppelin部分使用了%jdbc解释器：
%jdbc
select * from sys.tables using com.sap.spark.engines
============================================================
java.lang.NoSuchMethodErr
浏览 6提问于2017-07-06得票数 0
回答已采纳
2回答
我是一个使用Spark的新手。我遵循了DataBricks：的在线指南
我可以成功地获得到MySQL实例的连接并从中读取。但是，我一直从Spark中获得NoTableFound或NoDatabaseFound错误的变体。下面是我的整个测试类的样子：
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.SQLContext;
import org.a
浏览 4提问于2017-05-01得票数 0
回答已采纳
我要求将数据(频率=每晚一次传输)从本地关系数据库(SQL server)传输到AWS (作为csv文件和csv格式是必需的)。数据大小约为500 GB。在没有CDC的情况下，每天晚上都会复制整个数据库。
当然，我们可以考虑像parquet或orc这样的格式，但csv在我们的用例中是必需的。
在将数据转换为csv并将其发送到S3之前，我曾考虑将JDBC链接到EMR-spark集群，以便从本地RDBMs数据库导入数据，但我不确定这是否是最优的体系结构。
对于JDBC，我不知道是否有一种方法可以并行使用多个连接(顺便说一句，emr-spark和sqlserver)来加快传输速度。
它是连接本地站点
浏览 4提问于2020-05-03得票数 0
假设您使用spark访问一个SQL数据库。使用RDD火花将数据划分为多个不同的部分，这些部分共同构成数据集。
我的问题是Spark如何管理从N个节点到数据库的这种访问。我可以看到几种可能性：
RDD的每个节点访问数据库并构建它们的部分。它的优点是节点不会被迫分配大量内存，但是数据库将不得不承受N个可能很大的连接。
单个节点访问数据，并根据需要将数据发送到其他N1节点。问题是，这个单一节点需要拥有所有的数据，这在许多情况下是行不通的。可能可以通过按块获取数据来缓解这种情况。
JDBC包使用池连接来避免一次又一次的连接。但这并不能解决这个问题。
将有什么参考来解释spark如何管理
浏览 2提问于2020-03-06得票数 1
回答已采纳
1回答
我正在尝试连接两个数据库Postgres和Server。
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Spark SQL basic example") \
.config("spark.jars", "mssql-jdbc-8.4.1.jre8.jar") \
.getOrCreate()
spark1 = SparkSession \
.builder \
.appName(
浏览 8提问于2022-08-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
