我想从postgres数据库读取数据的时间间隔为1小时，我希望进程每一小时运行一次。我该怎么做呢？我已经附上了我的代码片段。我无法使用用于jdbc的readstream选项。
浏览 19提问于2021-06-30得票数 0
尝试使用PySpark从Postgres DB读取表。我设置了以下代码，并验证了SparkContext是否存在：
os.environ['PYSPARK_SUBMIT_ARGS'] = '--driver-class-path /tmp/jars/postgresql-42.0.0.jar --jars /tmp/jars/postgresql-42.0.0.jar
浏览 6提问于2017-03-09得票数 3
回答已采纳
1回答
在Postgres中，我有一个名为"mytable“的表，其中有两个列，id (bigint)和value (varchar(255))。id使用nextval('my_sequence')从序列中获取其值。PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。我可以看到，在读取数据</em
浏览 0提问于2018-01-21得票数 2
回答已采纳
你好，我现在安装了pyspark，我在DBeaver中有一个本地的postgres数据库:我如何从pyspark连接到postgres？我试过了 from pyspark.sql import DataFrameReader
properties ={'user': 'postg
浏览 69提问于2021-08-24得票数 0
回答已采纳
1回答
我正在使用HDInsight spark集群来运行我的Pyspark代码。我尝试从postgres表中读取数据，并将其写入如下所示的文件中。所以我无法将DataFrame写到文件中。为什么"spark.read“返回DataFrameReader。这里我漏掉了什么？from pyspark.sql.types import *fro
浏览 40提问于2020-04-24得票数 0
回答已采纳
我想每隔几分钟从CSV文件中读取许多行，是否有办法跟踪上次插入的行，然后从该特定行开始下一次插入？在Server中，我知道使用bulk insert命令是可能的，但我不知道如何在postgresql中这样做。我尝试使用COPY命令和timescaledb并行复制命令，但在后一个命令中，我只能限制要插入的行数。我试图这样做是为了比较Server和时间序列数据库之间随时间进行大容量插入的性能。timescaledb-pa
浏览 14提问于2022-06-07得票数 0
回答已采纳
12回答
我正在尝试用pyspark连接到数据库，并使用以下代码：df = sqlctx.load(
url = "jdbc:postgresql://[编辑：我正试图在我的计算机中本地运行代码。
浏览 6提问于2016-01-22得票数 27
我可以从glueContext的胶水作业中读取在glue数据目录中定义的表。但是，如果我想使用hiveContext读取完全相同的表，则会收到一条错误消息，说明它找不到该表。在我看来，HiveContext无法访问胶水数据目录。
您知道在胶水作业配置中插入什么(编辑作业->作业参数-> "--conf“)以确保HiveContext能够在胶水数据目录中找到和访
浏览 12提问于2020-02-10得票数 0
每隔10分钟，我就会尝试从csv导入大规模数据到Postgres。在芹菜的帮助下，我安排了很少的工作。根据我的观察，表的增大导致了行的丢失。
是Postgres的限制吗？
浏览 3提问于2020-10-23得票数 0
回答已采纳
我正在尝试从S3桶中读取文件，并使用pyspark将数据写入postgresql表，但遇到了以下错误from pyspark.sql import SparkSession
df.write.format("jdbc").option("driver","org.postgresql.Driver").opti
浏览 17提问于2022-03-29得票数 0
回答已采纳
我有一个胶水作业，从RDS中读取，并以带分区的拼花格式将其写入s3。数据的大小与150 GB有关。awsglue.job import Jobfrom awsglue.utils import getResolvedOptio
浏览 3提问于2022-04-06得票数 0
1回答
我正在尝试连接两个数据库Postgres和Server。from pyspark.sql import SparkSession
.builder \ .config("spark.jars", "postgresql-42.2.5.jar") \我能够从</
浏览 8提问于2022-08-05得票数 0
1回答
我有一个spark流上下文从kafka读取事件数据的时间间隔为10秒。我想用postgres表中的现有数据来补充这个事件数据。我可以用如下内容加载postgres表：val data = sqlContext.load("jdbc", Map(
浏览 0提问于2015-05-13得票数 13
我在Windows下运行Mule Anypoint studio v6.2.4。我有一个应用程序，它从Server获取数据记录，并将它们填充到Salesforce Org中。该应用程序是使用示例开发的，在mule.{mule.env}.properties文件中定义的一个DB和一个SF参数的当前场景中工作得很好。现在，我需要为输入记录访问不同的DB，并将它们填充到不同的Salesforce组织中。每次更改属性文件中的
浏览 2提问于2017-08-25得票数 0
回答已采纳
我有一个从Postres数据库读取的表，其中一个字段是包含嵌套数组的jsonb类型字段。在Postgres中，数组可以在表中的行级更改，这意味着键/值对的数量可以更改。Pyspark是否支持jsonb类型字段并推断字段类型的模式？
浏览 1提问于2020-10-22得票数 0
我有一个正在生产中的mongo db。我想将数据从MongoDB迁移到Postgres，以满足一些迁移需求。现在谈到数据部分，我计划编写一个实用程序，它将从MongoDB读取数据并将数据写入Postgres。
这里我想把mongo db (包含240335行)的所有数据读到Postgres。我无法将整个数据读取到应用程序的内存中
浏览 3提问于2018-11-22得票数 1
我正在设置ECS服务来启动我的应用程序，该应用程序与RDS数据库服务器对话。我需要将数据库访问属性(如用户名、密码、dbname等)传递给运行在FARGATE实例中的应用程序代码。为了传递这些参数，我已经在参数存储中创建了这些参数，但是我需要找到一种方法从参数存储中获取它们，并将它们传递给ECS任务definitons env变量属性？在ECS定义中，我尝试用“名称:和valueFrom”等参数修改JSON文件环境属性，但似乎JSON
浏览 3提问于2019-01-15得票数 1
回答已采纳
我希望使用JDBC从Postgresql中读取数据，并将其存储在中。当我想用df.show()、df.take()等方法预览dataframe中的数据时，它们返回一个错误，即: java.lang.ClassNotFoundException: org.postgresql.Driver但是df.printschema()将完美地返回DB表的信息。这是我的代码：
from pyspark.sql import Spa
浏览 3提问于2021-07-24得票数 0
回答已采纳
我有以下简单代码，用于将表从Postgres数据库加载到RDD中。# this setup is just for spark-submit, will be ignored in pyspark现在，如果我将代码保存到一
浏览 4提问于2017-02-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
