3回答
spark簇设置如下：.setMaster('yarn-client') \.set("spark.executor.memory", "20g") \.set("
浏览 27提问于2016-08-08得票数 7
2回答
我有一个流式数据帧，我正在尝试将其写入数据库。这里有将rdd或df写入Postgres的文档。但是，我找不到关于如何在结构化流媒体中做到这一点的示例或文档。我已经阅读了文档https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#foreachbatch，但我不能理解在何处创建jdbc连接以及如何将其
浏览 17提问于2019-02-19得票数 2
回答已采纳
我正在尝试从我的Spark作业中写出一些元数据到postgres数据库。中提供了以下驱动程序信息：# spark.master spark://master:7077# spark.eventLog.dir hdfs://namenode:8021/di
浏览 1提问于2018-03-14得票数 0
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
我正试图在我的本地机器上运行Spark作业，以便将一些数据写入postgres数据库。
浏览 3提问于2018-02-15得票数 0
回答已采纳
1回答
首先，我在Amazon上使用Spark1.5.2，在postgres数据库中使用Amazon。
我目前正致力于让Spark将其结果写入postgres数据库，我正在使用Spark的jdbc进行此操作。当它正常工作时，我担心的是，如果我试图在Spark运行时使用psql连接到db，然后尝试从Spark正在写入的表中读取，它就会告诉我还没有写行。这种情况一直持续到火花结束，然后所有的行突然出现在
浏览 1提问于2016-01-21得票数 0
回答已采纳
从MS-SQL环境进入同样具有spark访问权限的配置单元环境。我已经使用spark和R包sparklyr进行了连接，并且可以使用带有spark连接的R包DBI连接到我们的配置单元集群，并将数据提取到R数据帧中：
sc <- spark_connect(master= "yarn-client", spark_home="/usr/hdp/current/spark</
浏览 1提问于2017-09-01得票数 1
我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？请注意，我的R和hadoop运行在两个不同的服务器上，因此我需要一种从R写入远程hdfs的方法。
向Rahul致敬
浏览 16提问于2017-06-28得票数 6
我正在尝试使用pySpark将简单的spark数据帧写入db2数据库。Dataframe只有一个数据类型为double的列。这是只有一行和一列的数据帧：
这是数据帧架构：
当我尝试使用以下语法将此数据帧写入db2表时：
dataframe.write.mode('overwrite').jdbc(url=url,t
浏览 0提问于2018-03-21得票数 1
我正在尝试将数据帧写入postgres。所使用的DBAPI是psycogp2。localconn='postgresql+psycopg2://postgres/PSWD@localhost:5432/localPG'df.to_sql("DUMMY", localEng)
但是它抛出的错误是(psycopg2.Operati
浏览 0提问于2017-10-25得票数 1
我有一个数据帧和一个五百万行的本地Postgres数据库。在数据帧的每一行中，我希望添加一个列，该列是对Postgres数据库的查询结果。writer.writerow(row) row['name'] = ''
writer.writerow(row) 所以我迭代各行，并将结果写入本地有没有办法让我做得更整洁，并将结果保存在本地数据<
浏览 22提问于2021-06-28得票数 0
我有一个Web，它使用Postgres作为后端数据库。目前的数据并没有那么大。但最终它将增长，并将拥有大数据。是否有可能将当前数据库-- Postgres迁移到ApacheSpark作为更快访问数据的后端？如有任何帮助或建议，将不胜感激。谢谢。
浏览 0提问于2016-09-03得票数 0
pandas.DataFrame.to_sql()方法将允许您将数据帧的结果写入数据库。这在标准RDBMS的上下文中工作得很好。如何在Spark中使用PySpark呢？
浏览 2提问于2015-03-25得票数 0
回答已采纳
我有一个应用程序，它创建一些数据帧，将它们写入磁盘，然后使用vertica_python运行一个命令，将数据加载到Vertica中。由于加密驱动器，Spark Vertica连接器无法工作。我想要做的是，让应用程序运行命令来加载数据，然后立即转移到下一个作业。然而，它正在做的是等待在Vertica中完成加载，然后再移动到下一个作业。我怎么才能让它做我想做的事呢？谢谢。这在正常情况下不应该被阻止，那么为什么它会出现在Spark中？具体地说，发生的情况是我
浏览 0提问于2018-05-22得票数 0
我正在尝试恢复一些以拼图格式保存的历史备份文件，我想从它们中读取一次，并将数据写入PostgreSQL数据库。我知道使用spark保存备份文件，但对我来说有一个严格的限制，即我不能在DB机器中安装spark，也不能在远程设备中使用spark读取拼图文件，并使用spark_df.write.jdbc将其写入数据库一切都需要在DB机器上进行，在没有spark和Hadoop的情况下，只需要使用Postgres</e
浏览 1提问于2019-11-10得票数 6
回答已采纳
我正在尝试将一个大型数据帧写入db2数据库，但是我遇到了服务器上的日志，我的会话变得太大了。我如何从spark向db2发送与insert命令一起使用的+c标志，以便它一起绕过日志记录？有没有办法从spark提交数据库命令？我可以从db库中发出命令，但不确定如何同时使用这两个库。
浏览 10提问于2018-03-01得票数 0
我目前正在编写一个AWS Lambda，它将写入RDS数据库。我可以从数据库中读取数据，但在尝试写入数据库时连接超时。我想知道这是不是因为我试图从aws lambda中向Postgres数据库编写一个geopandas DF，如下所示： eng = create_engine('postgresql://' + 'postgres_db我知道我能够从数据库中读取<em
浏览 30提问于2020-12-10得票数 0
回答已采纳
我有一个想要写入Postgres数据库的数据框架。这个功能需要成为应用程序的一部分。现在，我将这个插入部分作为一个单独的脚本运行，创建一个SQLAlchemy engine并将其传递给df.to_sql()，以便将数据帧写入数据库表。但是，当我将这个功能集成到一个Flask应用程序中时，我已经有了到Postgres数据库的现有连接，该数据库是使用
浏览 7提问于2019-11-01得票数 1
回答已采纳
a)与传统的java JDBC调用相比，Spark有没有一种方法可以优化从关系数据库获取数据。b)如何在运行Spark查询时减少数据库的负载，因为我们将为所有查询直接命中生产数据库。假设Spark报告案例的生产中有3000万条订单记录和1.5亿条订单行记录。
浏览 2提问于2015-08-18得票数 2
2回答
我正在尝试将星火数据集写入现有的postgresql表中(不能像列类型一样更改表元数据)。这个表中的一个列是类型的，它造成了麻烦。在启动写入时，我看到了以下异常(此处原始映射为空，转义时为空字符串)： at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfu
浏览 4提问于2016-12-05得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
