2回答
我正在写入数据(大约。83M条记录)从一个数据帧到postgresql，速度有点慢。完成对db的写入需要2.7小时。
查看执行器，只有一个执行器上只有一个活动任务在运行。有没有办法使用Spark中的所有执行器将写操作并行化到db中？
浏览 1提问于2016-09-09得票数 6
回答已采纳
2回答
我正在尝试将星火数据集写入现有的postgresql表中(不能像列类型一样更改表元数据)。这个表中的一个列是类型的，它造成了麻烦。在启动写入时，我看到了以下异常(此处原始映射为空，转义时为空字符串)：
Caused by: java.sql.BatchUpdateException: Batch entry 0 INSERT INTOERROR: column "my_hstore_column" is of type hstore but expression is of type character
浏览 4提问于2016-12-05得票数 7
回答已采纳
3回答
spark簇设置如下：.setMaster('yarn-client') \.set("spark.executor.memory", "20g") \.set("
浏览 27提问于2016-08-08得票数 7
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。我这样假设是对的吗？
浏览 3提问于2021-08-16得票数 3
回答已采纳
1回答
首先，我在Amazon上使用Spark1.5.2，在postgres数据库中使用Amazon。
我目前正致力于让Spark将其结果写入postgres数据库，我正在使用Spark的jdbc进行此操作。当它正常工作时，我担心的是，如果我试图在Spark运行时使用psql连接到db，然后尝试从Spark正在写入的表中读取，它就会告诉我还没有写行。这让我很担心，因为最终的</em
浏览 1提问于2016-01-21得票数 0
回答已采纳
我正试图在我的本地机器上运行Spark作业，以便将一些数据写入postgres数据库。
浏览 3提问于2018-02-15得票数 0
回答已采纳
我有一个胶水作业，从RDS中读取，并以带分区的拼花格式将其写入s3。数据的大小与150 GB有关。args = getResolvedOptions(sys.argv, ["JOB_NAME"])
glueContext = GlueContext(sc)
spark= glueCon
浏览 3提问于2022-04-06得票数 0
我正在运行一个Spark作业，写到一个有20个工作者的Alluxio集群(Alluxio 1.6.1)。由于alluxio.exception.status.DeadlineExceededException，Spark作业无法写入其输出。这名工人还活着，来自阿卢西奥WebUI。alluxio.exception.status.DeadlineExceededException: Timeout writing to WorkerNetAddress{host=spark-74domainSocketPa
浏览 7提问于2018-11-16得票数 2
我正在尝试恢复一些以拼图格式保存的历史备份文件，我想从它们中读取一次，并将数据写入PostgreSQL数据库。我知道使用spark保存备份文件，但对我来说有一个严格的限制，即我不能在DB机器中安装spark，也不能在远程设备中使用spark读取拼图文件，并使用spark_df.write.jdbc将其写入数据库一切都需要在DB机器上进行，在没有spark和Hadoop的情况下，只需要使用Postgres</e
浏览 1提问于2019-11-10得票数 6
回答已采纳
1回答
在我的使用案例中，所有与谷歌相关的应用程序和广告的数据生成都将存储在谷歌store.but中，我的处理引擎在亚马逊网络服务云上的Spark上运行。谁可以帮助我如何才能移动这个GS数据S3进行处理。
浏览 0提问于2017-01-05得票数 0
1)我正在阅读Postgres的表格，如下所示，并创建了一个dataframe load()
2)更新dataframe df中的一个值newDf = df.withColum
浏览 4提问于2020-06-19得票数 0
我有一个正在运行的项目，使用akka-persistence-jdbc插件和postgresql作为后端。我应该写一个手动迁移程序吗？在cassandra中读取postgres并写入正确的格式？
浏览 1提问于2016-10-14得票数 4
我想调度对postgres db的spark写入操作。我已经附上了我的代码如下。我的airflow任务实例在小时前触发。option("user", USER) \ .option("driver", DRIVER).save(mode='append') 我的DAGpackages="org.a
浏览 19提问于2021-07-06得票数 1
我有一个在AWS EMR上运行的Spark Structured Streaming任务，它本质上是在一分钟的时间窗口内连接两个输入流。输入流有1分钟的水印。我不做任何聚合。我“手动”将结果写入S3，每个批处理都有一个forEachBatch和一个foreachPartition，用于将数据转换为字符串并写入S3。添加--deploy-mode cluster似乎会使问题变得更糟，因为似乎要写入更多的数据。这似乎有一点帮助，HDFS填充速度较慢
浏览 26提问于2019-03-13得票数 0
我正在使用python中的以下代码将Dataframe写入Postgres： .mode('append') \问题是Postgres中的列被标记为not null。有没有办法让它们不是not null？
浏览 14提问于2020-11-17得票数 0
回答已采纳
我目前正试图将Parquet文件加载到Postgres数据库中。Parquet文件已经定义了模式，我希望该模式能够传递到Postgres表中。import findspark |-- customer_stat
浏览 5提问于2021-09-08得票数 0
回答已采纳
我有一个Web，它使用Postgres作为后端数据库。目前的数据并没有那么大。但最终它将增长，并将拥有大数据。是否有可能将当前数据库-- Postgres迁移到ApacheSpark作为更快访问数据的后端？
，例如，，我可以使用Spark来访问数据，这样我就不必修改代码了。
浏览 0提问于2016-09-03得票数 0
我正在尝试将数据从单个源写入多个DataSinks (Mongo和Postgres )。输入数据 .readStream() .option("kafka.bootstrap.serversOutputMode.Update()) dataframe.wri
浏览 7提问于2020-10-01得票数 1
回答已采纳
1回答
简单读写的spark OOM
、、、、
我使用spark从postgres表中读取数据，并将其作为json转储到Google云存储。这张桌子很大，有100多GB。代码相对简单(请看下面)，但它在OOM中失败了。似乎spark正在尝试在开始写入之前读取内存中的整个表。这是真的吗？如何更改行为，使其以流的方式进行读写？
谢谢。
浏览 20提问于2019-07-10得票数 1
2回答
我有一个流式数据帧，我正在尝试将其写入数据库。这里有将rdd或df写入Postgres的文档。但是，我找不到关于如何在结构化流媒体中做到这一点的示例或文档。我已经阅读了文档https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch，但我不能理解在何处创建jdbc连接以及如何将其写入数据库。fal
浏览 17提问于2019-02-19得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号