我有一个spark (1.2.1v)作业，它使用将rdd的一个内容插入到postgres val driver = "org.postgresql.Driver"
var connection:Connection
浏览 4提问于2016-01-05得票数 6
回答已采纳
0回答
我想用Apache Spark将200万条记录从MongoDB传输到Postgres (使用两个数据库的官方驱动程序)。
浏览 4提问于2017-12-04得票数 0
回答已采纳
3回答
spark簇设置如下：.setMaster('yarn-client') \.set("spark.executor.memory", "20g") \.set("
浏览 27提问于2016-08-08得票数 7
我正在使用火花(3.0.0_preview)和阅读/写入/到GreenPlum(5.24版)。GreenprieVersion5.24不支持“可截断的only $table_name”命令。对于Spark 3.0.0_preview和jdbcdriver(org.postgresql“% "postgresql”% "42.2.5)，由Spark生成的命令是"truncate only $df.write.format("jdbc").
浏览 0提问于2019-12-23得票数 1
我正在使用Apache zeppelin，我可以分别从postgres和clickhouse获得结果。但是我需要合并这两个查询。
浏览 31提问于2019-01-29得票数 1
我正在尝试从S3桶中读取文件，并使用pyspark将数据写入postgresql表，但遇到了以下错误from pyspark.sql import SparkSessiondf = spark.read.csv(path, sep=
浏览 17提问于2022-03-29得票数 0
回答已采纳
为了在使用scala和spark时从RDBMS数据库(postgres)检索数据，我编写了以下代码： class GpMeta(spark:SparkSession, source_system_nameSystem.exit(1) def getControlTableData(): Unit = {
val cdf = spark.read.format("jdbcSparkSession.builder.config(conf=sparkConf).enableHiveSupport().
浏览 19提问于2020-04-09得票数 0
2回答
我正在写入数据(大约。83M条记录)从一个数据帧到postgresql，速度有点慢。完成对db的写入需要2.7小时。prop.setProperty("password", DB_PASSWORD)
prop.setProperty("driver", "org.p
浏览 1提问于2016-09-09得票数 6
回答已采纳
2回答
我有一个spark (2.1.0)作业，它使用postgres jdbc驱动程序，如下所述：val jdbcURL = s"jdbc:postgresql://${config.pgHost我尝试过--jars https://jdbc.postgresql.org/download/postgresql-42.1.1.jar，但是失败了，因为
Exception in thread "(Sp
浏览 7提问于2017-08-02得票数 0
2回答
我正在尝试将星火数据集写入现有的postgresql表中(不能像列类型一样更改表元数据)。这个表中的一个列是类型的，它造成了麻烦。在启动写入时，我看到了以下异常(此处原始映射为空，转义时为空字符串)： at org.<e
浏览 4提问于2016-12-05得票数 7
回答已采纳
我试图通过JDBC使用spark发送SQL查询，使用： SparkSession.builder()
.master("local[4]"
浏览 1提问于2019-10-15得票数 0
回答已采纳
1回答
我正在尝试开发一个通用的实现来使用Spark来支持从各种符合JDBC的数据库(如PostgreSQL、MySQL、Hive等)读取/写入数据。 |-- id: integer (nullable = true)上面的代码可以无缝地工作在PostgreSQL经过一些搜索，我可以通过添加自定义的HiveDialect来使读取工作，但我仍然面临着将数据写入Hive
浏览 6提问于2019-11-12得票数 0
12回答
我正在尝试用pyspark连接到数据库，并使用以下代码：df = sqlctx.load( user = "ScottyPippen", driver = "org.postgresql.Driver
浏览 6提问于2016-01-22得票数 27
3回答
'org.postgresql:postgresql:42.2.10','org.apache.hadoop:hadoop-aws:2.7.0' ,'com.oracle.database.jdbc:ojdbc6:11.2.0.4'])
.builder \ .config("spark.jars.p
浏览 92提问于2021-07-30得票数 0
我正在尝试将多个操作的结果写入AWS Aurora PostgreSQL集群中。所有计算都执行正确，但是，当我试图将结果写入数据库时，将得到下一个错误：: java.lang.StackOverflowError at org.ap
浏览 2提问于2019-09-29得票数 0
我正在运行停靠程序映像，并试图直接从sql数据库中提取一些数据到spark中。) \ .format("jdbc") \ .option("dbtable", "jdbc:postgresql:dbserver") \
.
浏览 3提问于2017-10-25得票数 9
回答已采纳
我在jupyter笔记本中使用考拉，以便执行一些转换，我需要从Azure Database for PostgreSQL中进行写入和读取。:postgresql:42.1.1 pyspark-shell pyspark-shell"
os.environ['PYSPARK_SUBMIT_ARGS2'] = "--packages org.postgresqlorg.postgresql:postgresql:42.1.1 pyspark-she
浏览 15提问于2020-11-27得票数 0
回答已采纳
4回答
如何在命令行中使用SPARK_CLASSPATH，如Found both spark.executor.extraClassPath and SPARK_CLASSPATH.我如何添加postgresql文件来使用它呢？我在使用EMR 4.2版
谢谢
浏览 10提问于2016-05-10得票数 1
回答已采纳
我正在尝试使用JDBC向Postgres插入spark。所用的代码是：url = "jdbc:postgresql://IP/DB name"
properties = {"user": "username", "password
浏览 1提问于2018-07-31得票数 2
云服务器
ICP备案
即时通信 IM
对象存储
云直播
腾讯云开发者
