使用spark重试Oracle连接
使用Spark重试Oracle连接是指在使用Spark进行数据处理时，当与Oracle数据库建立连接时出现连接失败的情况，可以通过重试的方式来尝试重新建立连接。
重试Oracle连接的目的是为了解决网络不稳定或数据库服务器负载过高等原因导致的连接失败问题，以确保数据处理的顺利进行。
在重试Oracle连接时，可以采取以下步骤：
- 检查网络连接：首先，确保Spark所在的计算节点与Oracle数据库服务器之间的网络连接正常。可以通过ping命令或其他网络诊断工具来检查网络连通性。
- 检查数据库服务器状态：确认Oracle数据库服务器的运行状态是否正常，包括数据库服务是否启动、数据库实例是否可用等。
- 增加连接超时时间：在Spark的配置文件中，可以增加连接Oracle数据库的超时时间，以便在连接建立时等待更长的时间。
- 重试连接：在连接Oracle数据库时，可以使用循环结构进行多次尝试，直到连接成功或达到最大尝试次数。可以设置一个适当的重试次数和重试间隔，以平衡连接重试的效率和资源消耗。
- 错误处理和日志记录：在连接失败时，可以记录错误信息和相关日志，以便后续排查问题。可以使用Spark的日志功能或其他日志记录工具来记录连接失败的详细信息。
对于Oracle连接重试的优势和应用场景，可以总结如下：
优势：
- 提高连接的可靠性：通过重试机制，可以增加连接成功的概率，降低连接失败的风险。
- 减少人工干预：自动化的连接重试可以减少人工干预，提高数据处理的效率。
- 保证数据处理的连续性：连接失败时的重试可以确保数据处理的连续性，避免中断和数据丢失。
应用场景：
- 大规模数据处理：在进行大规模数据处理时，连接失败的概率会增加，使用重试机制可以提高数据处理的稳定性。
- 分布式计算环境：在分布式计算环境下，网络连接的不稳定性可能更加明显，重试机制可以有效应对连接失败问题。
- 高并发访问：当多个Spark任务同时访问Oracle数据库时，数据库服务器的负载可能会过高，导致连接失败，使用重试机制可以缓解这个问题。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云数据库 TencentDB for Oracle：提供稳定可靠的云数据库服务，支持高可用架构和自动备份等功能。详细介绍请参考：https://cloud.tencent.com/product/tencentdb-for-oracle
- 腾讯云大数据分析平台 Tencent Spark：提供强大的大数据分析和处理能力，支持与各种数据源的连接和处理。详细介绍请参考：https://cloud.tencent.com/product/spark
相关·内容
目前正在处理一个转换项目，我需要将数据从Oracle提供给elastic search。所以我的工作是这样的
1. Sqoop - From oracle
2. Java Spark - Dataframe Joins then saving them into elastic search repo's
我的弹性文档看起来会像这样
{
Field 1: Value
Field 2: value
Field 3: Value
Field 4: [ -- Array of Maps
{
Name: Value
Age: Value
浏览 0提问于2017-05-12得票数 0
我正在尝试在本地安装的Cloudera中运行一个涉及Azure Event hub的Scala项目。我使用的是CDH 5.10。我使用sbt 0.13.15构建jar文件，sbt 0.13.15使用Openjdk 1.8.0。另外，我的虚拟机中安装了Oracle JDK1.8，我想在运行jar文件时spark2正在使用它。VM最初没有spark2。我使用Cloudera Manager 5.11升级了它。
在项目运行后，我得到了以下错误：
java.lang.UnsupportedClassVersionError: com/microsoft/azure/eventhubs/EventDat
浏览 6提问于2017-06-15得票数 0
在CLI中，我移动到hadoop目录(在EMR中)并下载了ojdbc.jar文件。我试着使用下面的shell命令连接Oracle DB：
pyspark \
--jars "/home/hadoop/ojdbc6.jar" \
--master yarn-client \
--num-executors 5 \
--driver-memory 14g \
--executor-memory 14g \
df = spark.read \
.format("jdbc") \
.option("url", &
浏览 1提问于2020-08-27得票数 1
回答已采纳
1回答
我需要在两个Oracle表之间做一个连接，然后通过Spark (用Java)处理数据。这样做的最佳选择是什么？-利用本机Oracle join功能，然后通过诸如"select * from table1，table2 where 1.fk= table2.pk“之类的查询在Spark中加载单个数据集或利用Spark连接功能加载2个不同的数据集(每个Oracle表一个)，然后通过dataset函数Dataset.join执行连接？
谢谢!
浏览 0提问于2020-04-26得票数 0
回答已采纳
1回答
我正在尝试连接Visual Studio2017 (ASP.NET MVC5应用程序)和Oracle。我下载Oracle Development Tools https://www.oracle.com/technetwork/topics/dotnet/downloads/odacdeploy-4242173.html 我下载了ODP.NET托管驱动程序，但在尝试连接到oracle数据库后，没有显示别名 📷 我不知道我在哪里做错了，我做错了什么？
浏览 8提问于2019-08-27得票数 0
我正在尝试创建hive表，它将指向oracle表，但是它在org.apache.spark.sql.AnalysisException中失败了。
步骤：
重建spark with hive, hive-thrift支持
将oracle-db-connector.jar放在类路径中
设置thrift server
使用beeline连接到它
beeline> !connect jdbc:hive2://localhost:10100 Connecting to jdbc:hive2://localhost:10100
创建hive table:
CREATE TABLE oracle3_c
浏览 5提问于2016-09-20得票数 0
回答已采纳
1回答
我想得到一些关于合并以下R包的方法的解释：
-odbc：用于连接现有的Oracle数据源
-sparklyr：用于计算独立星团上的数据
以下是我所做的：
-on我的客户端计算机，我使用dbConnect()函数从ODBC R包连接到一个现有的ODBC数据库。此Oracle数据库托管在windows服务器上。
我使用位于同一个本地网络但与windows服务器隔离的一些计算机分别实现了一个Spark独立集群:通过使用这个Spark集群，我希望使用sparklyr包的sparklyr函数将我的客户端计算机(连接到我的Oracle数据库)连接到Spark集群。作为简历，我的目标是使用火花独立集群来执行
浏览 4提问于2018-03-11得票数 1
回答已采纳
问题是如何在故障后重新连接数据库Oracle
我有.net核心web项目在码头，在那里我连接到Oracle数据库。为了连接，我使用了nugget包
我是如何连接和调用临时程序的：
string cs = "Data Source = 172.10.200.100:1521/dev;PERSIST SECURITY INFO=True;USER ID=test; Password=devtest;";
using (OracleConnection connection = new OracleConnection(cs)){
connection.Open();
usi
浏览 0提问于2018-07-02得票数 2
回答已采纳
我有一个简单的Spark作业，映射，计算和写入Oracle DB的结果。我在将结果写入数据库时遇到了问题。
在按键减少结果之后，我将调用foreachPartition操作来建立连接并将结果写入DB。如果我将并行化设置为1，它会工作得很好。但是，当我将reducer的并行化更改为2或更大时，它只写入部分结果。当我检查日志文件时，我看到以下错误：
java.sql.BatchUpdateException: ORA-00060: deadlock detected while waiting for resource
我该如何解决这个问题？
浏览 2提问于2015-06-05得票数 1
我们有一个SSIS 2012包，它通过从外部数据库服务器提取数据来支持我们的内部分析报告数据库。
昨晚，由于试图连接到外部数据库时数据库连接超时错误，包首次失败。
在我看来，用一些方法来增强我们的SSIS包是有意义的，在完全失败之前进行多次连接。
例如，我们希望SSIS包尝试3次，可能在尝试重试之前休眠5分钟。如果连接有3次失败，则返回包的错误。
我已经搜索过这方面的参考资料，但我什么也没有找到；它似乎应该是一个明显的特点，我肯定找不到合适的地方。
以下是一些细节：
在本地server 2012服务器中使用SSIS 2012包。
从远程Oracle数据库中提取数据
Attunity在Oracl
浏览 0提问于2014-04-11得票数 2
回答已采纳
3回答
我正在尝试连接到Oracle到Spark，并希望从一些表和SQL查询中提取数据。但是我无法连接到Oracle。我已经尝试了不同的方法来解决这些问题，但是我没有注意到。我遵循了以下步骤。如果我需要做任何修改，请纠正我。
我使用的是Windows 7机器。我使用Jupyter notebook来使用Pyspark。我有python 2.7和Spark 2.1.0。我已经在环境变量中设置了spark Class path：
SPARK_CLASS_PATH = C:\Oracle\Product\11.2.0\client_1\jdbc\lib\ojdbc6.jar
jdbcDF = sqlCo
浏览 22提问于2017-03-14得票数 3
回答已采纳
1回答
当使用jdbc驱动程序连接到例如甲骨文时，什么是真正执行的? 1:我已经启动了一个火花主程序，如
spark-class.cmd org.apache.spark.deploy.master.Master
像这样的工人
spark-class.cmd org.apache.spark.deploy.worker.Worker spark://myip:7077
和火花壳
spark-shell --master spark://myip:7077
在spark-defaults.conf我有
spark.driver.extraClassPath = C:/jdbcDrivers/o
浏览 1提问于2017-07-14得票数 1
回答已采纳
当我试图使用我的spark程序连接oracle db时，我使用的是星星之火-sql 2.4.1
星火计划
val o_url =//"jdbc:oracle:thin: etc ... it is correct and working
val query ="( SELECT 1 FROM DUAL ) T";
val dfReader = spark.read.format("jdbc")
.option("url", o_url)
.option("driver", "or
浏览 2提问于2019-10-02得票数 0
1回答
使用jdbc触发执行
、、、、
在Spark dataframe中，假设我从oracle获取数据，如下所示。 查询会完全在oracle中发生吗？假设查询很大。那么，这对oracle来说是一种开销吗？更好的方法是读取单独的dataframe中的每个过滤表数据，并使用Spark SQL或dataframe连接它，以便在spark中进行完整的连接？你能帮个忙吗？ df = sqlContext.read.format('jdbc').options(
url="jdbc:mysql://foo.com:1111",
dbtable="(SELECT * FROM abc,bcd....
浏览 8提问于2020-09-17得票数 0
我的问题有两个方面，涉及到简单地创建到数据库的连接(请理解这可能是非常基础的，但由于这是我第一次尝试SSIS，所以我对基础知识感到非常困惑)。
我们在我们的服务器上使用SQL Server进行开发，并且是安装的，而不是从我们的本地计算机。当我们访问我们的服务器时，我们需要对所有服务器访问使用TPAM。因此，如何在我的SSIS项目中配置SQL连接，以便使用预定义的Windows服务帐户连接到SQL Server (我们不能使用SQL登录进行任何数据库访问，因为所有访问都必须通过域服务帐户授予)。
我需要这个包来连接到Oracle并将数据拉到我们的SQL Server数据库中。当我尝试使用“Ora
浏览 2提问于2016-05-24得票数 0
1回答
我有一个问题需要澄清，还有两个使用云数据融合的错误:背景:创建一个管道，使用云数据融合将数据从Oracle中的单个表(本地服务器11.2.0.4版本)移动到BigQuery中。我从即时客户端11.2.0.4.0下载了Oracle JDBC驱动程序，并将ojdbc6.jar文件用作下面部署的oracle驱动程序。如果我使用一个更新的，我会得到一个日期错误。
清晰度：似乎有3个地方可以加载OJDBC驱动程序：
(a) Wrangler数据库列表(例如: sbl)，单击编辑，它将要求我安装Oracle驱动程序或Oracle瘦驱动程序。我需要输入Oracle (我复制了示例oracle.jdbc.dr
浏览 4提问于2020-01-21得票数 2
我使用一个Oracle连接器将Kafka连接到JDBC。当数据来自Oracle时，它将被正确转换，除了Oracle列是数字。对于这样的列，数据不会被解码。以下是一个例子：
{"ID":"\u0004{"，“TYPE”：“\u0000”，“模式”：“字节”：“\u0007”}，“STAT_TEMP”：{“字符串”：“测试”}}
我应该指出，我还在连接Kafka，以便在spark中获得相同的输出。
我想知道转换数据的最好方法是什么？
无论是在Kafka还是spark中。如果在卡夫卡，你对如何转换它有什么建议？
浏览 7提问于2017-12-01得票数 0
下面是我用来从apache spark java程序连接到oracle本地数据库的代码，但我得到了下面的错误。
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging
at java.lang.ClassLoader.defineClass1(Native Method).
这是我的代码。
public static void main( String[] args ) {
JavaSparkContext sc = new JavaSparkContext(ne
浏览 1提问于2017-01-12得票数 1
2回答
我在Scala中得到了一个Module not found错误。我正在尝试建立到Oracle的jdbc连接，连接两个表，然后将其打印出来。
我的scala文件是
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.sql.SQLContext
object sparkJDBC {
def main(args: Array[String]): Unit = {
val
浏览 9提问于2017-02-15得票数 0
我想通过使用DbContext注入在实体框架核心2.2中设置Oracle的执行策略。我正在使用NuGet包Oracle.EntityFrameworkCore连接到Oracle DB。
services.AddDbContext<MyContext>(options =>
{
options.UseOracle(configuration.GetConnectionString("MyConnection"), oracleOptionsAction: oracleOptions =>
{
浏览 5提问于2019-11-20得票数 0
2回答
我对spark几乎是个新手。我想要将pyspark连接到oracle sql，我正在使用以下pyspark代码：
from pyspark import SparkConf, SparkContext
from pyspark.sql import SQLContext, Row
import os
spark_config = SparkConf().setMaster("local").setAppName("Project_SQL")
sc = SparkContext(conf = spark_config)
sqlctx = SQLContext(s
浏览 22提问于2017-06-22得票数 1
回答已采纳
我正试图在Spark和Oracle以及Sqoop和Oracle之间建立一个安全的连接。经过我的研究，我已经找到了两个不同的选择，两种不同的设置。
在使用spark.jdbc.b64password加密密码的情况下，将火花连接到甲骨文，此外，它已经用火花码解密，并在jdbc中使用。
使用Hadoop凭据提供程序创建密码文件，并且在Sqoop中使用它连接到Oracle。
现在，将密码保存在两个不同的文件中似乎不是一个好做法。我的问题是，我们能否在Sqoop中使用Hadoop凭据提供者来使用为Sqoop创建的相同的凭据配置文件？
如果您有任何其他选择，使这更好，请帮助。
浏览 0提问于2017-12-12得票数 1
2回答
我想将数据从Oracle数据库导入到Hadoop，并考虑使用Sqoop。当我尝试时，我发现Oracle和Hadoop的数据连接器是断开的。
2019-07-18 09:19:58,203 [uber-SubtaskRunner] INFO org.apache.sqoop.manager.oracle.OraOopManagerFactory - Data Connector for Oracle and Hadoop is disabled.
我联系了系统管理员，告诉我，我们的Sqoop目前还没有为Oracle数据库配置，而且不会配置。相反，他们建议使用下面的pyspark脚本。
我在C
浏览 0提问于2019-07-29得票数 2
回答已采纳
我正在尝试通过.NET应用程序从Windows Server(生产环境)查询远程Oracle数据库。我一直收到这个异常。我在系统上安装了Oracle XE客户端。我尝试安装Oracle64位连接器，但JVM不允许我这样做。
Exception: System.BadImageFormatException: An attempt was made to load a program with an incorrect format. (Exception from HRESULT: 0x8007000B)
如果你有任何想法，我将不胜感激。
浏览 1提问于2010-04-24得票数 0
1回答
火花-重用JDBC连接
、、、、
我的任务如下：
从多个模式从一个表加载数据
使用PySpark
使用一个可以访问DB中所有架构的用户
我正在使用以下代码(或多或少)：
def connect_to_oracle_db(spark_session, db_query):
return spark_session.read \
.format("jdbc") \
.option("url", "jdbc:oracle:thin:@//<host>:<port>/<srvice_name") \
浏览 0提问于2019-01-29得票数 1
回答已采纳
1回答
我正试图通过每天的ETL作业将S3上的Spark数据库与旧的Oracle数据库同步。我正试图理解，当Spark连接到像Oracle这样的RDS以获取数据时，它会做什么。
它是否只获取在斯帕克向数据库提出请求时(即，如果它在2/2 17:00:00从Oracle DB获取数据时，它只会抓取到那个时间点的数据)？本质上说，任何新的数据或更新在2/2 17:00:01将不会从数据获取？
浏览 5提问于2017-02-03得票数 1
回答已采纳
1回答
我正在尝试使用Protractor JS文件连接oracle db。我知道使用oracledb模块我们可以连接。但是oracledb的安装有更多的依赖项，因此我无法使用它。
我尝试过使用oracledb节点，但是得到了以下错误：
Error: The specified path is invalid.
\\?\..\..\node_modules\oracledb-pb\build\Release\oracledb.node
如果有任何其他方式连接oracle使用节点量角器js文件。
浏览 3提问于2017-06-15得票数 0
1回答
我试图从连接到Oracle DB，但是得到了这个错误:不合适的驱动程序“。
我已经在集群上安装了JAR的JDBC驱动程序。
知道为什么吗？
from pyspark.sql import SparkSession
spark = SparkSession.builder.config('spark.driver.extraClassPath', 'dbfs:/FileStore/jars/2103b47d_3261_47b2_bd0c_d7a6240c54f5-DatabricksJDBC42.jar').getOrCreate()
url = "jdb
浏览 0提问于2022-09-05得票数 1
1回答
尝试了不同的方法
sql
CREATE TABLE oracle_table
USING org.apache.spark.sql.jdbc
OPTIONS (
dbtable 'persons',
driver 'oracle.jdbc.driver.OracleDriver',
user '<user>',
password '<pass>',
url 'jdbc:oracle:thin://@<host>:1521/orcl
浏览 3提问于2020-07-21得票数 1
我先前关于Polly和Oracle Connectivity的问题如下
通过扩展这一点，我尝试处理基于连接和FTP连接的多个Oracle异常。它能够正确地处理FTP异常。但是对于甲骨文来说，它不能处理0RA-03113和ORA-03114。
这是我实现的代码。
static void Main()
{
var retryTimes = 100;
var retryableOracleErrorCodes = new[] { "ORA-03113", "ORA-03114", "ORA-12543", &#
浏览 2提问于2021-04-30得票数 2
回答已采纳
我有一个spring-boot应用程序，它有3个two服务，可以访问application.properties文件中声明的两个不同的数据库。
spring.datasource.url = jdbc:oracle
spring.datasource.username = aa
spring.datasource.password = aa
spring.seconddatasource.url = jdbc:oracle2
spring.seconddatasource.username = aa
spring.seconddatasource.password = aa
当我运行应用程序时
浏览 0提问于2017-09-14得票数 0
我已经安装了Oracle11g R2 Express，我正在尝试连接它，但遇到错误：
sqlplus '/ as sysdba'
SQL*Plus: Release 11.2.0.2.0 Production on Cz Lip 2 15:20:39 2015
Copyright (c) 1982, 2010, Oracle. All rights reserved.
Enter password:
ERROR:
ORA-01031: insufficient privileges
当我尝试这样做的时候：
sqlplus 'sys as sysdba'
浏览 2提问于2015-07-02得票数 1
我有Spark3.1.2和Scala2.12.8。我想连接到oracle数据库并读取一个表，然后使用以下代码显示它：
import org.apache.spark.sql.SparkSession
object readTable extends App{
val spark = SparkSession
.builder
.master("local[*]")
.appName("Spark SQL basic example")
.config("sp
浏览 2提问于2021-09-09得票数 0
回答已采纳
我已经将AMQ配置为从Oracle接收和发送消息，如所述
AMQ创建并保持连接以从Oracle AQ接收消息-这是正确的。但是，每次AMQ向Oracle AQ发送消息时，都会创建并销毁新连接。有时，由于一些网络问题或Oracle过载，我会得到一个异常：
org.apache.camel.RuntimeCamelException: org.springframework.jms.UncategorizedJmsException: Uncategorized exception occured during JMS processing; nested exception is oracle.
浏览 9提问于2018-03-26得票数 0
2回答
我试图使用以下代码从Spark连接到Oracle DB：
val dataTarget=sqlcontext.read.
format("jdbc").
option("driver", config.getString("oracledriver")).
option("url", config.getString("jdbcUrl")).
option("user", config.getString("usernameDH")).
option("
浏览 5提问于2017-10-12得票数 2
回答已采纳
Mobius 1.6用以下命令连接Oracle
C:\spark-clr_2.10-1.6.200\runtime\scripts\sparkclr-submit.cmd --master local --jars C:\oracle\lib\ojdbc7.jar --exe WinFormMobius.exe D:\Mobius\Debug
2016-09-29T08:31:24.3019737Z错误java.sql.SQLException:在org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply
浏览 5提问于2016-09-29得票数 0
回答已采纳
2回答
在我工作的地方，通过Oracle，我只能使用TNS作为连接类型，因为它们不能为我打开端口来完成连接。是甲骨文11g。
但是，现在我需要编写代码来连接到Oracle并获取数据。我试过几种编码语言，但没有一种有效.
以下是我尝试过的
Spark是相似的，我在这里使用的是笔记本
val jdbcUsername = "[my user name]"
val jdbcPassword = "[my pswd]"
val jdbcHostname = "[Oracle hostname]"
val jdbcPort = [default port numb
浏览 5提问于2016-07-26得票数 0
回答已采纳
下面的是我使用scala代码连接到oracle的程序：
/usr/hdp/current/spark2-client/bin/spark-shell --driver-memory 5g --executor-memory 5g --jars /usr/hdp/current/sqoop-client/lib/ojdbc7.jar
import org.apache.spark.sql.SQLContext
val sqlcontext = new org.apache.spark.sql.SQLContext(sc)
val dataframe_mysql = sq
浏览 0提问于2018-02-21得票数 3
回答已采纳
我在azure data-bricks上运行spark。我的要求是，我需要从oracle db中提取数据并将其输出到文件中。 Spark verison - 2.4
Databricks cluster size - 8 nodes,8 cores for each node. 因此，为了获得更多的并行性，我在oracle查询中对分区列使用了哈希算法。 example - mod(ora_hash(id), 64) as partition_key 问题是，尽管我在Data-bricks集群中有64个核心可用，但只有8个核心在运行以从oracle中提取数据。 请找到附件中的屏幕截图以供参考。
浏览 53提问于2019-04-17得票数 0
1回答
在远程服务器上运行pysqpark时，我可以使用jdbc连接到另一个服务器上的Oracle数据库，但是运行的任何有效查询都会返回一个ORA-00903: invalid table name Error。
我能够用cx_Oracle或pyodbc从本地机器连接到数据库。当我从本地连接那些返回上述错误的查询时，将无问题地运行。
我对本地或远程运行的查询进行了更改，但无论运行哪种类型的有效查询
ORACLE_JAR = "ojdbc7.jar"
JAR_LOC = os.path.join(os.environ["JARS_DIR"], ORACLE_JAR
浏览 2提问于2019-09-05得票数 2
回答已采纳
我正在使用puckel's airflow docker images运行一个airflow应用程序，该应用程序将从一个Oracle数据库提取数据并将其传递到另一个数据库。我为docker-composeCeleryExecutor中的数据库连接提供了如下环境变量： AIRFLOW_CONN_ORACLE_FLXP=oracle://oracle_user:XXXXXXXXXXXX@1.1.1.1:1521?encoding=UTF-8&nencoding=UTF-8&threaded=False&events=False&mode=sysdba&am
浏览 34提问于2019-05-22得票数 0
我让2015运行一个新创建的WebAPI 2项目。我希望使用实体框架(首先从现有数据库编码)从数据库创建数据模型。所以我从甲骨文下载了这个。
ODAC 12.2c版本1和Oracle开发工具用于Visual (12.2.0.1.0)
安装后，我成功地测试了使用托管驱动程序连接到数据库，并通过EF向导继续。但最后我得到了这个错误
我尝试过管理驱动程序和非托管驱动程序。我还尝试添加对这些库的引用。
Oracle.ManagedDataAccess Oracle.ManagedDataAcces.EntityFramework Oracle.DataAccess.EntityFramewo
浏览 2提问于2017-07-18得票数 2
回答已采纳
下面是我使用的代码，用于从程序连接到oracle本地数据库，但是我得到了错误：
java.sql.SQLSyntaxErrorException: ORA-00903:无效表名
这是我的代码：
public static void main( String[] args )
{
String MYSQL_DRIVER = "oracle.jdbc.driver.OracleDriver";
String MYSQL_CONNECTION_URL = "jdbc:oracle:thin:@//192.168.2.85:1521/stage";
浏览 0提问于2017-01-10得票数 1
由于Oracle DB中进程和会话的最大限制设置太低，有时会在mirth中发生以下错误：
DBConnection - java.sql.SQLException:侦听器以下列错误拒绝连接: ORA-12516，TNS:侦听器无法找到具有匹配协议栈的可用处理程序
由于dbConn.executeCachedQuery(SQLStatement)在Mirth中使用DatabaseConnection类
以下是我的问题：
是否有任何方法在通道中抛出此响应/异常？都是异常“丢失”的SQL查询数据，如果发生此错误或是否有自动重试？，是否有处理此问题的最佳实践(例如，首先检查与getConnecti
浏览 0提问于2020-01-10得票数 2
回答已采纳
1回答
我有一个要求，我需要编写一个spark作业来连接Prod(源-配置单元)服务器A，并将数据放入本地(临时配置单元服务器)，执行转换并将其加载回TargetProd(服务器B)
在前面的例子中，我们的Target DB是Oracle，所以我们使用如下所示，这将覆盖该表
AAA.write.format("jdbc").option("url"，"jdbc:oracle:thin:@//uuuuuuu:0000/gsahgjj.yyy.com").option("dbtable"，"TeST.try_hty").opt
浏览 1提问于2018-06-13得票数 0
我使用JDBC connection使用Spark连接到oracle database，并尝试读取包含4,000,000行的oracle表。在启动spark-shell/submit时，我为每个执行器使用了30个执行器、5个执行器内核和4g内存。当读取数据帧的计数或尝试写入数据时，它只使用一个执行器从oracle读取/写入数据。尝试对数据帧进行重新分区，但仍然只使用一个执行器，导致性能大幅下降。
下面是使用的语法，任何建议都是非常有用的。
命令片段：-
spark-shell --executor-memory 4G --executor-cores 5 --num-executors 30
浏览 0提问于2020-10-30得票数 0
我在配置oracle odbc时遇到问题。
对话框页面为空
当我输入TNS名称时: XE
我得到以下错误：
无法连接SQLState=08004
我的tnsnames文件是：
KPI_SERVER=
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST =localhost)(PORT =1521))
(CONNECT_DATA =
(SERVER = DEDICATED)
(SERVICE_NAME = XE)
)
)
在SQL developer中，通过以下数据连接成功：
主机
浏览 1提问于2016-01-15得票数 1
3回答
我有这样的时间戳：2019-06-13 13:22:30.521000000
我使用Spark/Scala脚本将它们插入到Oracle表中。Oracle中的列是时间戳(6)，应该保持不变。
我就是这样做的：
我在Spark中拥有一个df，它包含一个带有时间戳的列：
+-----------------------------+
| time |
+-----------------------------+
|2019-06-13 13:22:30.521000000|
+-----------------------------+
我所做的工作
浏览 3提问于2019-11-25得票数 0
回答已采纳
现在我正在使用Spark连接我的oracle数据库。但是，有一个名为“带有时区的时间戳”的列类型，它是Oracle中的一个特定列。当我从包含此类型列的表中加载数据时，它将引发一个错误"java.sql.SQLException:不支持的类型-101“。
有人知道如何从表中加载特定的列吗？然后，我可以避免选择“带有时区的时间戳”列。如果有人能找出"java.sql.SQLException:不受支持的类型-101“错误会更好。但我觉得这可能是星火的臭虫。
我的代码如下，非常感谢。
spark = SparkSession\
.builder\
.appName(&
浏览 1提问于2016-10-04得票数 1
回答已采纳
我有我的开发环境的MAC操作系统，NetBeans IDE，野蝇服务器。我的Oracle服务器通过使用Oracle预定义的VM安装在Virtual上。
Virtual网络已经通过使用NAT和端口1521进行了配置。
我能够使用下面的配置使用SQLDeveloper连接Oracle服务器，而且它可以工作。
java连接具有以下参数：
jdbc.driverClassName = oracle.jdbc.driver.OracleDriver
jdbc.url = jdbc:oracle:thin:@localhost:1521/XE
jdbc.username = xxxxxxx
jd
浏览 4提问于2017-09-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
