使用spark JDBC从Oracle表加载数据非常慢
Spark JDBC从Oracle表加载数据非常慢的原因可能有多种，以下是可能的原因和解决方法：
- 数据量过大：如果要加载的数据量非常大，可能会导致加载速度变慢。可以考虑使用分区或分片加载数据，以减少单次加载的数据量。
- 网络延迟：如果Spark集群和Oracle数据库之间的网络延迟较高，加载数据的速度可能会受到影响。可以尝试将Spark集群和Oracle数据库部署在同一局域网内，以减少网络延迟。
- 数据库连接配置不合理：Spark JDBC连接Oracle数据库时，连接配置的参数设置可能不合理，导致加载数据速度变慢。可以检查连接参数，如连接池大小、连接超时等，进行适当的调整。
- 数据库索引不合理：如果Oracle表没有适当的索引，加载数据时可能需要进行全表扫描，导致速度变慢。可以通过创建适当的索引来提高加载速度。
- Spark集群资源不足：如果Spark集群的资源（如CPU、内存）不足，加载数据时可能会受到限制。可以考虑增加Spark集群的资源配置，以提高加载速度。
- 数据转换和处理复杂：如果加载的数据需要进行复杂的转换和处理操作，可能会导致加载速度变慢。可以考虑优化数据处理逻辑，减少不必要的转换和处理操作。
- Oracle数据库性能问题：如果Oracle数据库本身存在性能问题，加载数据的速度可能会受到影响。可以通过优化数据库配置、调整查询语句等方式来提高数据库性能。
对于解决以上问题，腾讯云提供了一系列相关产品和服务，例如：
- 数据库产品：腾讯云数据库（TencentDB）提供了多种数据库类型，包括关系型数据库（如MySQL、SQL Server）和NoSQL数据库（如MongoDB、Redis），可以根据具体需求选择适合的数据库产品。
- 弹性MapReduce服务（EMR）：腾讯云EMR是一种大数据处理和分析的云服务，可以快速搭建和管理Spark集群，提供高性能的数据处理能力。
- 云服务器（CVM）：腾讯云提供了强大的云服务器产品，可以根据需求选择适当的规格和配置，提供稳定可靠的计算资源。
- 云监控（Cloud Monitor）：腾讯云云监控可以监控和管理云上资源的性能和运行状态，可以帮助用户及时发现和解决性能问题。
以上是一些可能的解决方法和腾讯云相关产品，具体的解决方案需要根据实际情况进行调整和选择。
相关·内容
现在我正在使用Spark连接我的oracle数据库。但是，有一个名为“带有时区的时间戳”的列类型，它是Oracle中的一个特定列。当我从包含此类型列的表中加载数据时，它将引发一个错误"java.sql.SQLException:不支持的类型-101“。
有人知道如何从表中加载特定的列吗？然后，我可以避免选择“带有时区的时间戳”列。如果有人能找出"java.sql.SQLException:不受支持的类型-101“错误会更好。但我觉得这可能是星火的臭虫。
我的代码如下，非常感谢。
spark = SparkSession\
.builder\
.appName(&
浏览 1提问于2016-10-04得票数 1
回答已采纳
我正在尝试创建hive表，它将指向oracle表，但是它在org.apache.spark.sql.AnalysisException中失败了。
步骤：
重建spark with hive, hive-thrift支持
将oracle-db-connector.jar放在类路径中
设置thrift server
使用beeline连接到它
beeline> !connect jdbc:hive2://localhost:10100 Connecting to jdbc:hive2://localhost:10100
创建hive table:
CREATE TABLE oracle3_c
浏览 5提问于2016-09-20得票数 0
回答已采纳
我可以使用以下代码从Master节点中的Oracle数据库中读取数据：
val spark = SparkSession
.builder
.master("local[4]")
.config("spark.executor.memory", "8g")
.config("spark.executor.cores", 4)
.config("spark.task.cpus",1)
浏览 1提问于2021-10-16得票数 2
我正在尝试将远程Oracle数据库表加载到上。
我就是这样启动火花壳的。
./spark-shell --driver-class-path ../jars/ojdbc6.jar --jars ../jars/ojdbc6.jar --master local
我得到一个Scala提示符，在这里我尝试加载一个Oracle数据库表，如下所示。(我使用自定义的JDBC )
val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_
浏览 3提问于2019-06-16得票数 1
回答已采纳
我使用JDBC connection使用Spark连接到oracle database，并尝试读取包含4,000,000行的oracle表。在启动spark-shell/submit时，我为每个执行器使用了30个执行器、5个执行器内核和4g内存。当读取数据帧的计数或尝试写入数据时，它只使用一个执行器从oracle读取/写入数据。尝试对数据帧进行重新分区，但仍然只使用一个执行器，导致性能大幅下降。
下面是使用的语法，任何建议都是非常有用的。
命令片段：-
spark-shell --executor-memory 4G --executor-cores 5 --num-executors 30
浏览 0提问于2020-10-30得票数 0
1回答
我正在从oracle db加载一些数据，并且尝试在data.But上执行计数操作，但没有得到任何结果，最终导致会话超时。如果我执行任何其他函数，比如first()，show()，我会得到结果。 我尝试使用不同的选项启动scala shell，如下所示。 spark2-shell --jars /oracle/12c/product/12.1.0/client/jdbc/lib/ojdbc6.jar --executor-memory 10G --num-executors 10 --driver-memory 2G yarn-client
spark2-shell --jars /
浏览 15提问于2019-05-07得票数 0
1回答
我有一个要求，我需要编写一个spark作业来连接Prod(源-配置单元)服务器A，并将数据放入本地(临时配置单元服务器)，执行转换并将其加载回TargetProd(服务器B)
在前面的例子中，我们的Target DB是Oracle，所以我们使用如下所示，这将覆盖该表
AAA.write.format("jdbc").option("url"，"jdbc:oracle:thin:@//uuuuuuu:0000/gsahgjj.yyy.com").option("dbtable"，"TeST.try_hty").opt
浏览 1提问于2018-06-13得票数 0
1回答
(我对星火、黑帕拉和库杜都很陌生。)我试图通过Kudu将Oracle DB中的表复制到具有相同结构的Impala表中。当代码试图将Oracle NUMBER映射到Kudu数据类型时，我会收到一个错误。如何更改星火DataFrame的数据类型，使其与Kudu兼容？
这是一份从Oracle到Impala的1到1的数据副本.我提取了源表的Oracle模式，并创建了一个具有相同结构的目标Impala表(相同的列名和合理的数据类型映射)。我希望Spark+Kudu能自动映射所有数据，只需复制数据即可。相反，Kudu抱怨说它不能映射DecimalType(38,0)。
我想指定“名为SOME_COL的第1
浏览 3提问于2019-05-15得票数 0
回答已采纳
1回答
使用jdbc触发执行
、、、、
在Spark dataframe中，假设我从oracle获取数据，如下所示。 查询会完全在oracle中发生吗？假设查询很大。那么，这对oracle来说是一种开销吗？更好的方法是读取单独的dataframe中的每个过滤表数据，并使用Spark SQL或dataframe连接它，以便在spark中进行完整的连接？你能帮个忙吗？ df = sqlContext.read.format('jdbc').options(
url="jdbc:mysql://foo.com:1111",
dbtable="(SELECT * FROM abc,bcd....
浏览 8提问于2020-09-17得票数 0
我试图使用ORACLE作为数据源创建一个表，使用spark查询，但得到一个错误。
%sql使用org.apache.spark.sql.jdbc选项创建表测试( url "jdbc:oracle:thin:@localhost.com:1560:SCOTT“、驱动程序"oracle.jdbc.driver.OracleDriver”、dbtable "SCOTT.EMP“、用户"usr1”、密码"paswd1“)
SQL语句中的错误: ClassNotFoundException: oracle.jdbc.driver.OracleDriver
com.
浏览 0提问于2022-01-26得票数 0
1回答
我需要将我的spark数据集写入oracle数据库表。我正在使用带有追加模式的数据集写入方法。但是当使用spark2-submit命令在集群上触发spark作业时，会出现分析异常。 我已经读取了json文件，将其扁平化，并将其设置为abcDataset数据集。 Spark版本-2 Oracle数据库JDBC驱动程序- oracle.jdbc.driver.OracleDriver编程语言- Java Dataset<Row> abcDataset= dataframe.select(col('abc').....{and other columns};
Pro
浏览 51提问于2019-05-15得票数 0
1回答
在Databricks中，我使用以下代码从Oracle提取数据。
%scala
val empDF = spark.read
.format("jdbc")
.option("url", "jdbc:oracle:thin:username/password//hostname:port/sid")
.option("dbtable", "EMP")
.option("user", "username")
.option("p
浏览 2提问于2018-09-28得票数 2
我使用PySpark将行从Oracle加载到AWS。我一次抓取10000行，然后存储加载的最大seq_id，并将其用于下一个范围。 我试着用PySpark来做这件事，但是我搞不懂。有没有人可以帮我或者给我指个有用的培训资源？我已经尝试将输出转换为Int。我尝试过select.collect，但也遇到了错误。我对PySpark非常陌生，所以非常感谢您的帮助。 from pyspark.conf import SparkConf
from pyspark.sql import SparkSession
spark.conf.set("hive.exec.dynamic.partitio
浏览 28提问于2020-10-13得票数 0
我正在尝试使用spark jdbc从一个表中读取5亿条记录，然后在该表上执行连接。当我从sql developer中执行sql时，它需要25分钟。但是当我使用spark JDBC加载它时，它花费了很长时间，最后运行了18个小时，然后我取消了它。为此，我使用了AWS-GLUE。 这就是我使用spark jdbc阅读的方法。 df = glueContext.read.format("jdbc")
.option("url","jdbc:oracle:thin://abcd:1521/abcd.com")
.option("user"
浏览 105提问于2020-10-30得票数 1
回答已采纳
我可以将数据帧记录加载到Oracle数据库中，没有任何错误，但我想知道如何将Df中的列映射到Oracle 我想以JDBC write格式将Employee_id字段从DataFrame映射到oracle中的ID列。 列映射： df ---------- Oracle
Employee_id ---------- ID
targetdf=spark.sql(final_sql)
targetdf.show()
targetdf.write \
.format("jdbc") \
.option("url", "
浏览 21提问于2020-11-27得票数 0
我正在开发一个Spark程序，到目前为止，我想出了以下代码：
object PartitionRetrieval {
var conf = new SparkConf().setAppName("Spark-JDBC")
val log = LogManager.getLogger("Spark-JDBC Program")
Logger.getLogger("org").setLevel(Level.ERROR)
val conFile = "/home/hmusr/ReconTest/
浏览 0提问于2018-07-24得票数 1
jdbc(String url,
String table,
String columnName,
long lowerBound,
long upperBound,
int numPartitions,
java.util.Properties connectionProperties)
您好，我想使用spark jdbc
浏览 2提问于2021-07-09得票数 0
我们发现，从Spark 1.3到当前的Spark 2.0.1，使用Spark的API从Oracle数据库加载数据总是很慢。典型的Java代码是这样的：
Map<String, String> options = new HashMap<String, String>();
options.put("url", ORACLE_CONNECTION_URL);
options.put("dbtable", dbTable);
options.put("batchsize&
浏览 1提问于2016-10-13得票数 9
我正在尝试使用spark.read.format读取一个Oracle表，它对所有表都很有效，除了少数表中有任何数据类型为ROWID的列。
下面是我的代码
var df = spark.read.format("jdbc").
option("url", url).
option("driver", driver).
option("dbtable", dbTable).load()
println(df.first)
我得到下面的错误
18/09/08 11:38:17 WARN s
浏览 42提问于2018-09-09得票数 3
1回答
火花-重用JDBC连接
、、、、
我的任务如下：
从多个模式从一个表加载数据
使用PySpark
使用一个可以访问DB中所有架构的用户
我正在使用以下代码(或多或少)：
def connect_to_oracle_db(spark_session, db_query):
return spark_session.read \
.format("jdbc") \
.option("url", "jdbc:oracle:thin:@//<host>:<port>/<srvice_name") \
浏览 0提问于2019-01-29得票数 1
回答已采纳
我有一个包含n条记录的oracle表，现在我想用where/filter条件加载该表中的数据，以触发数据帧。我不想将完整的数据加载到数据帧中，然后对其应用过滤器。在spark.read.format("jdbc")...etc或任何其他解决方案中有什么选项吗？
浏览 39提问于2020-04-23得票数 1
1回答
我有一个usecase，其中我想从一个Oracle表中读取数据，其中所有字段都是varchar类型，并将其保存到另一个具有类似字段但具有理想的正确数据类型的Oracle表中。这只能用java来完成。因此，我想从下表读取数据集：
create table employeeStr (
name varchar2(50),
empid varchar2(50),
age varchar2(50),
salary varchar2(50),
dt_joined varchar2(50));
并写到下表：
create table employeeNorm (
name varchar2(5
浏览 5提问于2017-10-22得票数 0
我正在使用spark从Terradata表读取数据，并希望在中插入表。我能够插入数据，但我能执行UPSERT吗？
我就是这样将数据插入到Oracle中的。
dataframe.write.mode(SaveMode.Append).jdbc(url，table6，道具)
浏览 4提问于2017-09-29得票数 0
回答已采纳
当我使用SparkSession从postgre表中获取数据时，必须先将表加载到DataFrame中，然后通过DataFrame接口查询一些数据：
val spark = SparkSession.builder().getOrCreate()
val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:postgresql://192.168.xx.xx:5432/sparktest")
.option("dbtable", "public.ml&
浏览 4提问于2016-09-07得票数 1
回答已采纳
1回答
使用和Java直接运行sql查询
、、、、
我试图弄清楚如何使用Spark直接执行查询。我指的是：
SQLContext sql = new SQLContext(ctx);
sql.sql("QUERY HERE");
但是如何设置数据库的连接信息呢？我用的是Oracle DB。在我用sql.read().jdbc..的方式之前。在这里，我传递连接URL作为参数。但是，与SQL控制台上的直接查询(0,05秒)相比，这种方式非常慢(4秒)。
格列茨
浏览 3提问于2016-10-07得票数 3
回答已采纳
有没有标准的Scala类/对象可以创建一个简单的与oracle数据库的连接(使用JDBC)，但不需要加载特定的表？我只想创建一个简单的连接，然后传递一些查询(创建/更新等)。最后关闭连接。
我见过这样的代码：
val jdbcDF = spark.read
.format("jdbc")
.option("url", "jdbc:postgresql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", &
浏览 0提问于2021-01-13得票数 3
我使用的是Spark SQL 2.1， 我可以在Spark SQL中以临时视图的形式从mysql/oracle中读取数据： val url = "jdbc:mysql://localhost:3306/db1"
val user = "root"
val pass = "root"
val sql =
s"""
CREATE OR REPLACE TEMPORARY VIEW foobar
USING org.apache.spark.sql.jdbc
OPTIONS (url &
浏览 9提问于2019-03-29得票数 0
我试图使用JDBC读取Oracle表并将数据插入Hive表，但所有时间戳列的值都已更改(-6小时)。为什么会改变时间戳？*
我试着使用"spark.sql.session.timeZone"，"UTC“来触发配置，但是没有帮助。
val spark: SparkSession = SparkSession
.builder
.config(sparkConf)
.config("spark.sql.session.timeZone", "UTC")
.enableHiveSupport()
浏览 3提问于2019-11-08得票数 1
这听起来很奇怪，我有一个oracle数据库，我试图通过spark从oracle数据库中进行选择，但是我查找的数据确实在数据库中，但我在scala启动的请求中找不到它。因此，我试图计算退出数据的数量。
select count (*) from TMP_STRUCTURE
从甲骨文控制台我得到了373799
当我把
val sparkSession = SparkSession.builder.master("local").appName("spark session example").getOrCreate()
//connect to table
浏览 1提问于2017-08-25得票数 0
回答已采纳
我正在使用Spark从Oracle导入数据，如下所示-
Class.forName("oracle.jdbc.driver.OracleDriver")
var info : java.util.Properties = new java.util.Properties()
info.put("user", user)
info.put("password", password)
val jdbcDF = spark.read.jdbc(jdbcURL, tableFullName, info)
表模式：
SERVICE_DATE
浏览 1提问于2017-11-28得票数 0
回答已采纳
1回答
我使用spark从Oracle数据库(有些相当大)中将表作为表从Azure databricks中提取出来，这样我就可以在它们上运行作业，让团队可以使用它们。随着数据的变化，我需要每天提取它们，并得到更新，我还想通过使用Azure密钥库/秘密传递经过编辑的凭据来获取它们。
我已经设置了秘密，我可以运行一个进程来用Python完成所有这些工作，但是对于较大的表，从数据框架编写表的速度太慢了。
我知道我可以在spark中使用下面的代码来更快地完成这个任务，并且可以在一小部分时间内成功地提取几乎所有的表，而不是使用python。但是，我似乎无法将其设置为源代码，并传递用户名和密码的秘密。
%sql
浏览 2提问于2020-11-17得票数 1
回答已采纳
请注意，我是pySpark的新手，如果我遗漏了任何细节，请随时告诉我。 在Windows10上运行，并使用python3.7安装的命令来运行pyspark：pyspark --jars "C:\spark\spark-2.4.5-bin-hadoop2.7\jars\ojdbc6.jar" 我尝试在pyspark shell中执行的代码： from pyspark import SparkConf, SparkContext
sqlctx = SQLContext(sc)
with open("new1", "r") as f:
que
浏览 73提问于2020-04-08得票数 0
回答已采纳
3回答
我正在尝试连接到Oracle到Spark，并希望从一些表和SQL查询中提取数据。但是我无法连接到Oracle。我已经尝试了不同的方法来解决这些问题，但是我没有注意到。我遵循了以下步骤。如果我需要做任何修改，请纠正我。
我使用的是Windows 7机器。我使用Jupyter notebook来使用Pyspark。我有python 2.7和Spark 2.1.0。我已经在环境变量中设置了spark Class path：
SPARK_CLASS_PATH = C:\Oracle\Product\11.2.0\client_1\jdbc\lib\ojdbc6.jar
jdbcDF = sqlCo
浏览 22提问于2017-03-14得票数 3
回答已采纳
我指的是这个文档。。根据文章，如果我们使用executeBatch方法，那么插入将会更快( Netezza JDBC驱动程序可能会检测到批量插入，并且在幕后将其转换为外部表加载，外部表加载将会更快)。我不得不执行数百万条insert语句，而且每个连接的最大速度仅为每分钟500条记录。有没有更好的方法通过jdbc连接更快地将数据加载到netezza？我使用spark和jdbc连接通过加载插入records.Why外部表，即使在批处理执行时也不会发生。下面给出了我使用的spark代码，
Dataset<String> insertQueryDataSet.foreachPartitio
浏览 19提问于2017-07-21得票数 1
我试图使用缓存存储加载缓存方法将数据从Oracle表加载到Ignite缓存。
下面是在Load方法中实现的使用Ignite从Oracle表加载数据的逻辑。
JDBC连接器用于连接到Oracle，数据可用在结果集游标中。While循环用于遍历结果集对象并将数据插入缓存.中。
是否有其他方法将数据从Oracle表插入到Ignite缓存。如果可能，请共享示例代码。
浏览 5提问于2020-01-27得票数 0
我正在使用Apache Spark加载、处理数据集，并使用JDBC驱动程序将数据集输出到Oracle DB中。
我使用spark jdbc write方法将数据集写入数据库。但是，同时将数据集写入数据库，将10行和1000万行写入数据库的不同表所需的时间相同。我想知道如何使用spark调优此写入方法的性能，以便我们可以明智地使用apache spark计算engine.Otherwise，使用它进行快速计算过程没有任何好处；如果将数据集写入数据库需要时间。写10行和10M行的代码如下：
有10行要写
finalpriceItemParamsGroupTable.distinct().writ
浏览 0提问于2018-08-21得票数 0
我使用spark.read.format("jdbc").option("query", tmpSql)从Mysql加载一个表，我可以从数据库监视器中看到一个查询select * from (xxx) where 1=0，后来我知道这个查询用于推断Spark中的表模式。然而，当我使用spark.read.format("jdbc").option("query", tmpSql).schema(xxx)时，表模式推断查询仍然存在。既然已经指定了customSchema，为什么火花仍然需要推断表模式呢？
浏览 5提问于2021-12-09得票数 0
火花: 2.1.1
我将dataframe保存为一个Oracle表，但是得到的Oracle表有“区分大小写的”列。
val properties = new java.util.Properties
properties.setProperty("user", ora_username)
properties.setProperty("password", ora_pwd)
properties.setProperty("batchsize", "30000")
properties.setProp
浏览 2提问于2017-06-07得票数 2
我想使用Apache Spark并通过JDBC连接到Vertica。
在Vertica数据库中，我有1亿条记录，spark代码在另一台服务器上运行。
当我在Spark中运行查询并监控网络使用情况时，两个服务器之间的流量非常高。
似乎Spark从目标服务器加载了所有数据。
这是我的代码：
test_df = spark.read.format("jdbc")
.option("url" , url).option("dbtable", "my_table")
.option("user", "
浏览 5提问于2017-02-16得票数 1
我想通过Spark从Oracle数据库中获取表名。
但总是失败。有错误：
线程"main“中的异常: ORA-00942:表或视图不存在Sql = SELECT * FROM sys.tables 1=0，OriginalSql = SELECT * FROM sys.tables 1=0，Error Msg = ORA-00942: table orview不存在
我错过了什么吗？谢谢。
class TrxxConnection(sparkSession:SparkSession) {
val trxxCon = sparkSession.read
.format(&#
浏览 5提问于2022-08-15得票数 0
回答已采纳
2回答
我想将数据从Oracle数据库导入到Hadoop，并考虑使用Sqoop。当我尝试时，我发现Oracle和Hadoop的数据连接器是断开的。
2019-07-18 09:19:58,203 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.oracle.OraOopManagerFactory - Data Connector for Oracle and Hadoop is disabled.
我联系了系统管理员，告诉我，我们的Sqoop目前还没有为Oracle数据库配置，而且不会配置。相反，他们建议使用下面的pyspark脚本。
我在C
浏览 0提问于2019-07-29得票数 2
回答已采纳
1回答
在远程服务器上运行pysqpark时，我可以使用jdbc连接到另一个服务器上的Oracle数据库，但是运行的任何有效查询都会返回一个ORA-00903: invalid table name Error。
我能够用cx_Oracle或pyodbc从本地机器连接到数据库。当我从本地连接那些返回上述错误的查询时，将无问题地运行。
我对本地或远程运行的查询进行了更改，但无论运行哪种类型的有效查询
ORACLE_JAR = "ojdbc7.jar"
JAR_LOC = os.path.join(os.environ["JARS_DIR"], ORACLE_JAR
浏览 2提问于2019-09-05得票数 2
回答已采纳
1回答
Spark JDBC中的编码选项
、、、、
我想使用Spark JDBC以特定的字符集编码(如us-ascii )从Oracle DB读取数据，但我无法这样做。
我根据此尝试的代码
val res=spark.read.format("jdbc")
.option("url", url)
.option("user", "userid")
.option("password", "pwd")
.option("driver","oracle.jdbc.OracleDriver")
.opti
浏览 1提问于2021-03-28得票数 3
我使用下面的查询将Oracle11g和12c中的数据提取到一个dataframe中，这非常有效。然而，当我尝试连接到on-preadoracle9i时，这就给了我空行，尽管其中有数据。
关于如何解决这个问题有什么建议吗？
vDriver = "oracle.jdbc.driver.OracleDriver"
vURL = "jdbc:oracle:thin:@<hostname:portnumber/SID>"
vUser = "xxxx"
vPassword = "xxxx"
pTableName = "
浏览 1提问于2020-07-29得票数 1
回答已采纳
我对Spark非常陌生，我有一个查询，它从两个Oracle表中获取数据。这样的表必须由一个字段连接，该字段可以很好地处理下面的代码。但是，我需要应用过滤器，就像在Oracle "where“子句中那样。例如，雇用年龄在25岁至50岁之间的员工。我还必须应用GroupBy过滤器，并使用OrderBy对最终结果进行排序。问题是，唯一正确执行的操作是从表中检索所有数据以及它们之间的连接。其余的过滤器根本没有应用，我也不知道为什么。你能帮帮我吗？我确信我遗漏了一些东西，因为没有编译错误。数据加载良好，但"where“条款似乎对数据没有任何影响，尽管有些雇员年龄在25至50岁之间。非常感
浏览 6提问于2015-07-08得票数 2
回答已采纳
2回答
我正在运行一个要加载到Oracle的spark作业。但是我得到了下面的错误。
java.sql.SQLException: ORA-00604: error occurred at recursive SQL level 1
ORA-01882:未找到时区区域
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:450)
at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:392)
at oracle.jdbc.driver.T4CTTIoer.process
浏览 0提问于2018-05-23得票数 2
1回答
我正在运行spark分析应用程序，并使用spark jdbc直接读取MSSQL Server表(整个表)。这些表有超过30M条记录，但没有任何主键列或整数列。因为表没有这样的列，所以我不能使用partitionColumn，因此它在读取表时花费了太多时间。 val datasource = spark.read.format("jdbc")
.option("url", "jdbc:sqlserver://host:1433;database=mydb")
.option("
浏览 23提问于2019-09-26得票数 1
我把甲骨文中的两张桌子像这样导入到火花中：
val customers = spark.read.format("jdbc").option("url", "jdbc:oracle:thin:user/password@//IP:2222/ebe").option("driver", "oracle.jdbc.OracleDriver").option("dbtable", "customers").load().show()
val cities = spark.read.for
浏览 0提问于2018-02-15得票数 1
回答已采纳
Databricks文档提到，在跨多个工作人员从关系数据库读取数据时，我们必须提供'partitionColumn、lowerBound、upperBound和numPartitions‘值。还提到partitionColumn应该是一个整数列。那么，如何从没有整数列的表中进行并行读取呢？
我尝试使用‘rownum’(来源是Oracle DB)作为分区列，但是当我试图将结果存储在dataframe中时，我只从第一个分区获得数据。
以下是代码：
jdbcUrl = "jdbc:oracle:thin:@//{0}:{1}/{2}".format(hostname, po
浏览 0提问于2018-07-03得票数 0
回答已采纳
我正在尝试使用从一些Oracle表中读取数据(数据量很大)。尽管查询只取几行(<10)，但它需要花费大量的时间来完成。相同的PL/SQL查询需要5秒。
这是我的代码，如果有什么可以纠正的，请告诉我，以使它更有效：
from pyspark.sql import SparkSession
spark = SparkSession \
.builder \
.appName("Init Pull") \
.getOrCreate()
table1 = spark.read \
.format("jdbc") \
.o
浏览 2提问于2022-05-31得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
