我在PySpark中使用下面的JDBC URL将data frame写成Azure SQL Database。但是，我觉得这个写操作的性能并没有达到标准，可以通过设置一些额外的属性来提高。有什么变通方法或参数可以让我提高JDBC的写入性能吗？
jdbcUrl = "jdbc:sqlserver://server.database.windows.net:1433;databaseName=test;enablePrepareOnFirstPreparedStatementCall=false"
下面是实际的数据帧写入语句。
data_frame.write \
浏览 2提问于2020-01-13得票数 0
1回答
我试图编写简单的shell脚本来解析一个属性文件，并根据这些值计算另一个字符串。
dev.properties
com.global.jdbcUrl=${local_jdbcUrl}
环境变量
export local_jdbcUrl="jdbc:mysql://localhost:3306/db_0?autoReconnect=true&useSSL=false&allowPublicKeyRetrieval=true"
bash文件：
#!/bin/bash
file="./dev.properties"
function prop {
浏览 1提问于2022-04-21得票数 0
回答已采纳
1回答
我正在为Spring应用程序配置HikariCP，数据库是Postgresql。
说：“我们建议使用dataSourceClassName而不是jdbcUrl，但两者都是可以接受的。”
但是，下一行写着：“注意: Spring自动配置用户，您需要使用jdbcUrl-based配置。”
如果我们使用jdbcUrl-based配置并指定dataSourceClassName，那么jdbcUrl将被忽略，如果我们不指定数据源- HikariDataSource将被创建。因此他们建议在Spring应用程序中使用HikariDataSource。
如果我们使用dataSourceClassName --
浏览 2提问于2019-06-13得票数 3
回答已采纳
1回答
我开发了一个可以在亚马逊BeanStalk上运行的rest WS。
目前，数据源是用属性文件配置的：
database.driverClass=org.postgresql.Driver
database.jdbcUrl=jdbc:postgresql://localhost:5432/public
database.username=postgres
database.password=postgres
在context.xml中：
<bean id="dataSource" class="com.jolbox.bonecp.BoneCPDataSource&#
浏览 3提问于2014-03-17得票数 1
4回答
我有一些变量
var jdbcurl="jdbc:oracle:thin:%2F%2Finnova:1521%3BServiceName%3Dorcl%3BMaxPooledStatements%3D20%3BCatalogOptions%3D0%3BBatchPerformanceWorkaround%3Dtrue"
alert(jdbcurl.match(/:[\d]+/)); //gives me :1521
我怎样才能让jdbc:oracle:thin，innova，1521 & orcl离开jdbcurl var？
更新
您可以尝试 (如果需要)
浏览 13提问于2011-12-16得票数 3
回答已采纳
1回答
我正在尝试使用python将Databricks集群连接到现有的SQL Server数据库。我想利用集成的身份验证方法。获取错误com.microsoft.sqlserver.jdbc.SQLServerException: This driver is not configured for integrated authentication. jdbcHostname = "sampledb-dev.database.windows.net"
jdbcPort= 1433
jdbcDatabase = "sampledb-dev"
jdbcUrl =
浏览 17提问于2020-04-28得票数 0
1回答
我已经写了一个函数，它期望数据库连接的详细信息，如jdbcUrl，用户名和密码，并测试具有给定详细信息的连接是否成功。
public boolean testConnection(String jdbcUrl, String userName, String password) {
try (Connection conn = DriverManager.getConnection(jdbcUrl, userName, password)) {
if (conn != null) {
return true;
浏览 0提问于2020-11-24得票数 0
我有YAML查找和替换正确的YAML格式(带空格和引号)的值。在示例YAML下面，我可以使用下面的jdbcUrl命令替换SED值。但是，需要帮助如何使用Sed前缀的空格和引号的价值。下面的Sed将查找并替换所需的jdbcUrl。但是，它不会添加前缀空格(YAML标准)并添加值的引号。
查找和替换URL的脚本：
DB_URL='jdbc:mysql://localhost:3306/sd?autoReconnect=true'
sed -i -e 's, MYDATABASE,'$DB_URL',g' input.yaml
示例输入Yaml：
-
浏览 8提问于2019-02-09得票数 3
回答已采纳
1回答
我想使用下面的代码对星星之火中的parquet数据运行sql，
val parquetDF = spark.read.parquet(path)
parquetDF.createOrReplaceTempView("table_name")
val df = spark.sql("select column_1, column_4, column 10 from table_name");
println(df.count())
我的问题是，是否只从光盘？读取所需的列？
理论上，答案应该是肯定的。但我需要一个专家意见，因为在中，与操作相比，读(spark.rea
浏览 1提问于2018-05-17得票数 0
下面是我的代码：
hikari.properties:
jdbcUrl=jdbc:mariadb://localhost:3306/
driverClassName=org.mariadb.jdbc.Driver
username=root
dataSource.databaseName=DBNAME //this doesn't seem to do much, I'm getting the same behavior with or without it
fun initDB() {
val config = HikariConfig("/hikari.
浏览 5提问于2021-05-04得票数 0
1回答
试图将postgreSQL DB转换为Dataframe。以下是我的代码：
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.appName("Connect to DB") \
.getOrCreate()
jdbcUrl = "jdbc:postgresql://XXXXXX"
connectionProperties = {
"user" : " ",
"password" : " &
浏览 0提问于2018-05-30得票数 2
回答已采纳
protected void doGet(HttpServletRequest request, HttpServletResponse response)throws ServletException, IOException
{
//define the fields
String username = "root";
String password = "Otiwah0771";
String jdbcURL = "jdbc:mysql://localhost:3306/employeedirectory";
浏览 1提问于2020-02-16得票数 0
3回答
我正在尝试连接到我的oracle数据库，我正在使用spring boot配置和YAML文件，我已经在pom和jpa中配置了jdbc，但它仍然无法连接。
我已经尝试了很多不同的url配置：
1) jdbcUrl=jdbc:oracle:thin://test.test.test:1521
2) jdbcUrl=jdbc:oracle:thin@test.test.test:1521
3) jdbcUrl=jdbc:oracle://test.test.test:1521
4) jdbcUrl=jdbc:oracle@test.test.test:1521
这是我的applic
浏览 3提问于2017-06-13得票数 1
回答已采纳
1回答
在将Java12Maven项目升级到之后，数据库单元测试开始失败：
Failed to get driver instance for jdbcUrl=jdbc:derby:memory:myDB;create=true
java.lang.RuntimeException: Failed to get driver instance for jdbcUrl=jdbc:derby:memory:myDB;create=true
我该怎么解决这个问题？
浏览 2提问于2019-03-29得票数 2
回答已采纳
为什么下面的代码在返回语句中有编译错误，
def getData(queries: Array[String]): Dataset[Row] = {
val res = spark.read.format("jdbc").jdbc(jdbcUrl, "", props).registerTempTable("")
return res
}
错误，
type mismatch; found : Unit required: Array[org.apache.spark.sql.Dataset[org.apache.spark
浏览 0提问于2018-05-15得票数 0
回答已采纳
下面是我的代码： import java.sql.Connection;
import java.sql.DriverManager;
public class TestJdbc {
public static void main(String[] args) {
String jdbcUrl = "jdbc:mysql://localhost:3306?hb_student_tracker?useSSL=false&serverTimezone=UTC";
String user = "hbstudent";
浏览 445提问于2019-03-25得票数 1
目前，我很难将这个VCAP_SERVICES解析为java对象。我不太明白如何构造POJO以允许它从json字符串映射值。有人能帮我构造我的pojo，使它与json字符串对齐吗？
我想为这两个凭证创建对象:accessToken.jdbcurl
VCAP_SERVICES
"VCAP_SERVICES": {
"user-provided": [
{
"credentials": {
"accessTokenUri": "tokenurl"
浏览 2提问于2017-05-01得票数 0
回答已采纳
我将使用pyspark.And从mariadb数据库读取表--运行以下代码‘’时会发生错误
jdbcHostname = "localhost"
jdbcDatabase = "pucsl"
jdbcPort = 3307
jdbcUrl = "jdbc:mariadb://{0}:{1}/{2}?user={3}&password={4}".format(jdbcHostname, jdbcPort, jdbcDatabase, "root", "ravi")
df = spark.read.jdbc(
浏览 33提问于2022-04-25得票数 0
2回答
在Ansible中，我正在寻找一种与lineinfile或replace类似的技术，但在使用模板不是一种选择的情况下，它适用于XML文件。似乎是一种非常普遍的需求。
但是，对于XML文件，有必要指定一个xpath，以确保元素存在/不在DOM中的正确位置。
解决方案需要确保有一种替换现有节点的机制，该机制看起来可能与目标节点有很大的不同。
简单的XML文件示例：
<?xml version="1.0" encoding="ISO-8859-1"?>
<datasources-configuration xmlns:myns="http:/
浏览 2提问于2015-06-21得票数 16
我需要知道在Spring中是否可以通过组合系统属性和在PropertyFile上定义的自定义属性来获得属性的值。
我所做的：
1)将服务器中的-D参数配置为：-Dapp.Env="dev“
2)在我的spring-config.xml中，定义了数据源的详细信息如下：
<!-- DataSource configurations -->
<bean id="myDataSource" class="com.atomikos.jdbc.AtomikosDataSourceBean"
init-method="init
浏览 3提问于2013-05-13得票数 0
1回答
import java.sql.*;
public class DBTesting {
public static void main(String[] args) throws SQLException {
// TODO Auto-generated method stub
try
{
String user = "sa";
String pass = "xxx";
String jdbcURL = "jdbc:o
浏览 1提问于2015-05-18得票数 0
jdbc下面查找databaseName的正则表达式是什么？输出将是"ab_cd_e“。
String jdbcUrl="jdbc:sqlserver://abc.com:1440;instanceName=MSSQLSERVER2019;integratedSecurity=false;databaseName=ab_cd_e";
String jdbcUrl="jdbc:sqlserver://abc.com:1440;instanceName=MSSQLSERVER2019;databaseName=ab_cd_e;integratedSecurity=f
浏览 0提问于2020-09-02得票数 1
回答已采纳
我在github中有我的databricks python代码。我设置了一个使用flake8链接python代码的基本工作流。这是因为我的脚本(如spark、sc、dbutils、getArgument等)在databricks上运行时隐式可用的名称在databricks上运行时是不可用的，当flake8在databricks之外链接它时(在github中)。
如何在github中使用flake8将数据库链接到笔记本
例如，我得到的错误：
test.py:1:1: F821 undefined name 'dbutils'
test.py:3:11: F821 undefine
浏览 9提问于2020-04-03得票数 7
2回答
我正在使用下面的依赖项。
<dependency>
<groupId>com.microsoft.sqlserver</groupId>
<artifactId>mssql-jdbc</artifactId>
<version>7.4.1.jre8</version>
</dependency>
<dependency>
<groupId
浏览 4提问于2021-08-17得票数 0
回答已采纳
我正在使用雪花jdbc，并试图通过传递无效的仓库名称并在默认仓库中创建表，从而在雪花中创建表。
String jdbcUrl = "jdbc:snowflake://<identifier>.snowflakecomputing.com?warehouse=invalid_warehouse&db=db&schema=schema&role=role";
Connection conn = null;
Statement st = null;
try {
conn = D
浏览 5提问于2022-07-12得票数 1
我有几个测试节点，但我以单例方式运行容器。
@ActiveProfiles("test")
@SpringBootTest(webEnvironment = SpringBootTest.WebEnvironment.RANDOM_PORT)
@AutoConfigureTestDatabase(replace = AutoConfigureTestDatabase.Replace.NONE)
@ContextConfiguration(initializers = ApplicationTests
.DockerPostgresDataSour
浏览 1提问于2022-06-15得票数 1
回答已采纳
1回答
查询表名
、
我被授权访问一个数据库。我正在查询spark集群中的数据。如何检查我有权访问的所有数据库/表？
jdbcUrl = "jdbc:sqlserver://{0}:{1};database={2};user='{3}';password='{4}'".format(jdbcHostname, jdbcPort, jdbcDatabase, jdbcUsername, jdbcPassword)
connectionProperties = {
"user" : jdbcUsername,
"password"
浏览 2提问于2020-04-03得票数 0
我有一个python脚本，我想使用oozie来调度它。我使用Oozie shell操作来调用脚本。脚本中有一个直线命令。当我运行oozie工作流时，我得到了错误"sh: beeline:命令未找到“。如果我从边缘节点手动运行这个脚本或直线命令，它就会运行得非常好。我的数据平台是Hortonworks 2.6。下面是我的workflow.xml和python脚本：
Workflow.xml
<workflow-app xmlns="uri:oozie:workflow:0.3" name="hive2-wf">
<credenti
浏览 4提问于2019-11-22得票数 0
2回答
在bash脚本中，我试图更改配置行(配置文件之一)。下面是我使用的bash脚本。
#!/bin/bash
jdbcURL(){
ssh ppuser@10.101.5.84 "sed -i \"s|\(\"jdbc.url\" *= *\).*|\1$2|\" $1"
}
jdbcURL $4 $5
运行此脚本后，配置文件将被更改，但问题是，配置文件中的每一行都以^M结尾，所以我的bash脚本中有什么问题吗？希望有人能帮我。谢谢。
浏览 5提问于2014-06-13得票数 1
回答已采纳
我已经近6年没有接触java了，只是想完成这个附带的项目，我试图让jComboBox2显示存储在数据库中的特定公司位置，这些位置是从jComboBox1中选定的公司中存储的，我知道ActionListener无法正确处理，我只需要动态地说明，每当从combo1中选择不同的公司时，相应的公司职位就应该显示在combo2上，这里的示例代码如下：
public class NewMessage extends javax.swing.JFrame{
/**
* Creates new form NewMessage
*/
public NewMessage()
浏览 4提问于2022-02-02得票数 0
回答已采纳
1回答
我试图在Linux上用SSL连接DB2。我尝试了以下方法
user = "xxxx"
password = "xxxxx"
jdbcURL = "jdbc:db2://nn.nn.nnn.nnn:nnnn/<database>"
prop = {"user": user, "password": password, "driver":
"com.ibm.db2.jcc.DB2Driver", "sslConnection": "true"
浏览 0提问于2019-02-06得票数 0
回答已采纳
在IBM DSX上，我遇到了以下问题。
对于DSX上的Spark1.6内核，为了避免metastore_db和HiveContext出现问题，必须创建新的SQLContext对象：
以下代码片段是使用Spark 1.6实现的，它们都运行在Spark 2.0.2上，但不能运行在Spark 2.1上：
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
df = sqlContext.createDataFrame([(1, "a"), (2, "b"), (3, "c"),
浏览 30提问于2017-07-04得票数 0
回答已采纳
def QueryDB(sqlQuery):
jdbcUrl = mssparkutils.credentials.getSecret("param1","DBJDBCConntring","param3")
spark=SparkSession.builder.appName("show results").getOrCreate()
dbcdf = (spark.read.format("jdbc")
.option("url", jdb
浏览 5提问于2022-03-29得票数 0
我正在尝试从我的本地机器连接到我的GCP项目PostgreSQL CloudSQL实例。PostgreSQL没有公共IP，只有私有。
Properties connProps = new Properties();
connProps.setProperty("user", "XXX-compute@developer.gserviceaccount.com");
connProps.setProperty("password", "password");
connProps.setProperty
浏览 17提问于2022-01-28得票数 0
回答已采纳
我正在使用Azure的Databricks，并希望使用PySpark对Azure进行下推查询。我尝试过许多方法，并找到了一个使用Scala的解决方案(下面的代码)，但是要做到这一点，我需要将我的部分代码转换为scala，然后再将其带回到PySpark。
%scala
import java.util.Properties
import java.sql.DriverManager
val jdbcUsername = username
val jdbcPassword = password
val driverClass = "com.microsoft.sqlserver.jdbc
浏览 2提问于2019-11-10得票数 2
我面临错误，org.postgresql.util.PSQLException: FATAL: database "“不存在 Java代码部署在AWS lambda中，用于连接RDS中运行的postgres数据库。 代码 String jdbcUrl = "jdbc:postgresql://database-1.cfgz85wxhk0z.eu-west-1.rds.amazonaws.com:5432/postgres";
Connection connection = null;
try {
connection = DriverManager.getC
浏览 97提问于2019-10-10得票数 0
当我试图使用Python从databricks连接到db时，我得到了以下错误：
Error:java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
代码：
jdbcHostname = "hostname"
jdbcDatabase = "dbname"
jdbcUsername="user"
jdbcPassword="pwd"
jdbcUrl = "jdbc:mysql://{0}/{1}".format(jdbcHostname, jdbcDat
浏览 4提问于2020-03-27得票数 3
2回答
我希望使用带有DB2的pySpark语句连接并从pySpark中读取。我在互联网上找到的唯一代码如下所示：
user = <username>
password = <password>
jdbcURL = "jdbc:db2://xx.xx.xxx.xxx:50000/Database"
prop = {"user":user, "password":password, "driver":"com.ibm.db2.jcc.DB2Driver", "sslConnection&#
浏览 2提问于2018-08-21得票数 0
回答已采纳
我正在尝试完成以下工作
1)在测试运行前使用gradle-flyway插件创建h2数据库。我能够创建它并将其放在${buildDir}下
flyway {
url = "jdbc:h2:file:${buildDir}/db/test/xxxdb"
user = 'root'
locations = [
'classpath:sql'
]
}
2)我的目标是针对步骤1中创建的这个数据库编写集成测试。我正在使用c3p0进行池化，这是我的配置。
<?xml version="1.
浏览 1提问于2014-12-25得票数 0
1回答
我正在尝试使用Spark连接将火花DataFrame插入到Teradata。
代码：
properties = {
"TMODE","TERA",
"TYPE","FASTLOAD"
}
jdbcUrl = "jdbc:teradata://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}?user=${jdbcUsername}&password=${jdbcPassword}"
df.write.jdbc(url=jdbcUrl, table=
浏览 1提问于2018-09-16得票数 2
回答已采纳
谁能让我知道，在用Databricks保存到Server时，让第一行成为标题
我目前正在使用以下代码上传/保存到Azure中的SQL
jdbcUrl = f"jdbc:sqlserver://{DBServer}.database.windows.net:1433;database={DBDatabase};user={DBUser};password={DBPword};encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;"
浏览 0提问于2022-07-16得票数 0
回答已采纳
我是scala新手，我的要求是从近100个表中删除特定的列记录，这样我就可以从csv (这是我的源)中读取数据，选择该列并将其更改为List。
val csvDF = spark.read.format("csv").option("header", "true").option("delimiter", ",").option("inferSchema", true).option("escape", "\"").option("multiline&
浏览 7提问于2022-06-27得票数 0
回答已采纳
我使用IntellJ，所以我修改了这个代码(用户名和密码更改了)：
String jdbcUrl = "jdbc:mysql://sql11.freesqldatabase.com:3306/sql11418144";
String username = "user1234";
String password = "abc";
Connection con = DriverManager.getConnection(jdbcUrl, username, password);
Statement stmt
浏览 1提问于2021-06-09得票数 1
有没有办法使用spark-sql (使用scala语言)在sql server表上执行update语句？
我需要执行以下查询：
update MyLog_table
set Log_FileQueue = xx,
Log_TotalLine = xx
where Log_ID = xxx
我尝试了以下语法：
val jdbcUrl = s"jdbc:sqlserver://${jdbcHostname}:${jdbcPort};database=${jdbcDatabase}"
val Log_FileIn = spark.read.jd
浏览 17提问于2018-08-09得票数 0
My code to test db connection from eclipse is given below
导入java.io.IOException；导入java.io.PrintWriter；
import javax.servlet.ServletException;
import javax.servlet.annotation.WebServlet;
import javax.servlet.http.HttpServlet;
import javax.servlet.http.HttpServletRequest;
import javax.servlet.http.Htt
浏览 6提问于2021-05-23得票数 1
1回答
我已经在我的系统上建立了oracle11g数据库，其他两台机器可以通过JDBC访问它。但是由于某种原因，我的系统的IP address被更改了。我无法从其他机器访问数据库，即使我在JDBC connection URL中更改了IP地址，
但我还是得到了connection failure error。Network adapter could not establish the connection
我已经在下面的代码中做了修改。
public static DbConnector getConnection(String dataSourceIp, String dataSourceJndi
浏览 3提问于2013-04-11得票数 0
回答已采纳
3回答
在我试图向数据库中插入值的Java代码中，我得到了带有签名No operations allowed after statement closed.的异常。错误签名表明我的Statement对象被关闭，我试图在我的代码中再次使用它，但我很难理解为什么会发生这种情况，因为我没有在代码中关闭任何连接。
以下是Java代码。
public class DataBaseAccessUtils {
private static String jdbcUrl =
AppConfig.findMap("BXRequestTracker").get("
浏览 0提问于2014-04-27得票数 5
1回答
我正在为一个使用C#将java组件连接到jni4net的项目编写一些测试。我可以在没有问题的情况下使用resharper运行测试，但是nunit似乎无法找到所需的jar。
var setup = new BridgeSetup(true);
string jarPath = System.Web.Hosting.HostingEnvironment.MapPath("~/bin/lib");
if (jarPath != null)
{
setup.AddAllJarsClassPath(j
浏览 1提问于2015-01-09得票数 1
回答已采纳
我在基于Spring的应用程序中使用BoneCP。
<bean id="dataSource" class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close">
<property name="driverClass" value="com.mysql.jdbc.Driver" />
<property name="jdbcUrl" value="jdbc:mys
浏览 3提问于2014-01-13得票数 0
回答已采纳
1回答
我正在尝试实现HSQLDB而不是Mysql，我的rest是通过akka-http实现的服务，由Hikari cp使用slick和连接池实现。早些时候
class HikariService(jdbcUrl: String,
dbUser: String,
dbPassword: String,slickProfile:String) extends DriverDataSource{
private val hikariConfig = new HikariConfig()
val jdbcurl
浏览 1提问于2018-02-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
