我正在使用Spark SQL从一个MySQL表中读入一个数据框，其中有一列的类型为MEDIUMTEXT。当我将数据框原封不动地写入新表中时，该列现在的类型为TEXT，并且我得到了一个MySQL MysqlDataTruncation异常。我不知道我是不是运气不好，或者有什么方法可以告诉Spark SQL特定于MySQL的结果列类型是什么。 在座有人对这个问题有所了解吗？
浏览 141提问于2019-08-08得票数 2
1回答
我知道我们可以使用spark从现有的mysql表中读取和写入数据。但是，我们甚至可以创建mysql表并使用dataframes将数据插入其中吗？当我试图将文件加载到dataframe并试图写入不存在的表时，我面临的是空指针，exception.Following是一个错误：
org.apache.spark.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(SaveI
浏览 1提问于2018-03-12得票数 2
我正在尝试设置一条从mysql binlogs到redshift的数据管道。我正在从Mysql binlogs(使用一个工具- cannedbeer，来自mypipe的fork )向kafka写入数据，然后使用spark streaming将这些消息写入到使用spark redshift我面临的问题是，由于Dstream .Can的foreachRDD方法(写入Redshift的副作用)中的作业失败，相同的消息被多次写入到redshi
浏览 1提问于2015-11-12得票数 1
我假设spark.sql(查询)是在使用spark.sql时使用的，而spark.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3提问于2021-08-16得票数 3
回答已采纳
我们通过EMR使用Apache Spark(2.4.5)作业，它读取存储桶前缀{ S3 }/{ prefix }/*.json，执行一些数据消息，然后在覆盖模式下通过Spark作业save()将其重写回相同的我的问题是，如果Spark作业在将数据重写到S3前缀分区时失败，那么我们是否有办法以任何原子/事务方式恢复该前缀分区中的数据。spark/EMR/S3中的任何/所有这些都支持它吗？
浏览 11提问于2020-10-02得票数 0
我希望将数据保存到MySQL中，覆盖某些字段中的重复行，并将挂起的数据不包含的数据保存在MySQL中。我试过的Mode.Overwrite/Mode.append仍然不能满足我的需求。因此，我尝试从MySQL加载现有数据并找到行。但是，当将数据保存到MySQL中时，获得的DataFrame变为空。在此过程中，我尝试了两种方法：
查找挂
浏览 1提问于2017-11-07得票数 3
回答已采纳
我使用MySQL作为我的存储引擎来保存Spark SQL中的表。如果可能的话，如何使用Spark SQL实现它？
浏览 3提问于2017-09-10得票数 2
1回答
我遇到了，它有一个示例，它不断地从S3桶中消费，并将处理过的结果写入MySQL DB。// Read data continuously from an S3 locationinputDF.
浏览 4提问于2016-09-01得票数 11
回答已采纳
1回答
我正在尝试写数据帧到MySql DB和使用Apache Spark 2.3.1。它有20K到30K的行从mySql读取，并使用20个分区进行分区。我首先过滤数据帧，并尝试将过滤后的结果集写入mysql DB。 但是写操作变得太慢。在没有过滤的情况下，df写操作正在按照预期的速度和性能执行。有人能帮上忙吗？我的代码： dataFrame = spark.read.format('jdbc').option(...).load()
//
浏览 24提问于2021-10-15得票数 0
1回答
我的用例如下:我们正在使用Spark从HDFS读取和转换数据。转换后的数据应保存在memsql中。长话短说: Spark scale如何写入memsql？
浏览 4提问于2016-01-15得票数 1
我正在尝试将多个操作的结果写入AWS Aurora PostgreSQL集群中。所有计算都执行正确，但是，当我试图将结果写入数据库时，将得到下一个错误：: java.lang.StackOverflowError
at org.apache.spark.sql.catalyst.trees.TreeNode$$an
浏览 2提问于2019-09-29得票数 0
我使用Apache和将数百万行写入Cassandra集群。复制因子被设置为3，我使用以下选项将写入一致性设置为submit(纱线客户端模式)中的所有内容：--conf spark.cassandra.output.concurrent.writes我设置了新工作的一致性如下：
spark-submit ...但我
浏览 3提问于2014-12-07得票数 3
回答已采纳
在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172提问于2020-10-14得票数 1
回答已采纳
我正在使用Apache Spark批量写入数据。批次为1天。在运行spark作业时，我得到了这个错误。我正在使用MySQL java连接器连接到TiDB集群。Spark为写入创建了144个并行任务。(SQLError.java:1055) at com.mysql.jdbc.MysqlIO.checkErro
浏览 7提问于2018-11-13得票数 0
1回答
我正在尝试开发一个通用的实现来使用Spark来支持从各种符合JDBC的数据库(如PostgreSQL、MySQL、Hive等)读取/写入数据。 |-- dept: string (nullable = true)
上面的代码可以无缝地工作在PostgreSQL、MySQL首先，我的read无法读取任何数据并返回空的结果。经过一些搜索，我可以通过添加自定义的HiveDialect来使读取工作，但我仍然面临
浏览 6提问于2019-11-12得票数 0
是否可以使用AWS Glue将mysql rds数据库多个选择性列的表中的数据添加到具有另一个mysql rds实例的单个表中。谢谢
浏览 1提问于2020-01-06得票数 1
1回答
我正在尝试使用spark 1.6.2将一个MySQL远程表转换为一个拼花文件。This timeout is controlled by spark.executor.heartbeatIntervalERROR ActorSystemImpl: Uncaught--packages mysql:mysql-connector-java:5.1.26 org.slf4j:slf4j-simple:1.7.21 --driver-memory 12G
valda
浏览 0提问于2016-10-27得票数 5
回答已采纳
我有一个简单的Spark作业，映射，计算和写入Oracle DB的结果。我在将结果写入数据库时遇到了问题。
在按键减少结果之后，我将调用foreachPartition操作来建立连接并将结果写入DB。如果我将并行化设置为1，它会工作得很好。但是，当我将reducer的并行化更改为2或更大时，它只写入部分结果。
浏览 2提问于2015-06-05得票数 1
还有类似的问题，但我开始认为我的问题与Spark jdbc API有关，因为这两个组件似乎都能独立正常工作。我使用的是Spark2.4(它支持ms时间戳)，并且有一个支持小数秒的MySQL 5.7.x版本。我创建了一个简单的数据集，其中包含一个TimestampType列，当我显示()它时，我得到的结果如下： +-----------------------++-----------------------++--------------
浏览 225提问于2021-02-06得票数 0
我正在运行MySQL Docker镜像并创建数据库和表。使用以下命令加载容器：Spark在我的主机上运行，所以我想将Spark中的数据写入容器中运行的数据库中。但是连接没有成功，我得到了一个异常：
com.mysql.jd
浏览 1提问于2019-12-11得票数 1
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号