腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Mysql
中
读取
Spark
、
、
我有一个
spark
作业,它从
mysql
读取
一个表,但出于某种原因,
spark
将int列定义为布尔值。如何在表
读取
期间强制
数据
类型?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1) .config("
spark
.sql.adaptive.enabled", "tr
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
1
回答
spark
.sql()和
spark
.read.format("jdbc").option("query“、"")之间有什么区别?
、
、
、
我假设
spark
.sql(查询)是在使用
spark
.sql时使用的,而
spark
.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3
提问于2021-08-16
得票数 3
回答已采纳
2
回答
从
mysql
读取
火花外壳中的
数据
、
、
首先,我构建了scala应用程序,使用这一行代码从apache中的
mysql
表中
读取
数据
。","file:///tmp/
spark
-warehouse").getOrCreate()var df =
spark
.read.format("jdbc.option("password", "root") .load
浏览 2
提问于2017-10-02
得票数 1
1
回答
如何使用
Spark
对
MySQL
(JDBC)执行join?
、
、
、
我想通过
Spark
从
MySQL
中
读取
数据
。我看到的API能够从特定表中
读取
数据
。prop.setProperty("user", "<username>") sparkSession.read.jdbc("jdbc:
mysql
有没有人知道怎么做(在
数据
库
浏览 1
提问于2016-11-21
得票数 2
1
回答
是分布式文件存储(HDFS/Cassandra/S3等)是否强制
spark
在群集模式下运行?若有,原因为何?
、
、
是分布式文件存储(HDFS/Cassandra/S3等)是否强制
spark
在群集模式下运行?若有,原因为何?
Spark
是用于计算海量
数据
的分布式
数据
处理引擎。假设我在
mysql
中存储了大量
数据
,我想对这些
数据
进行处理。
Spark
从
mysql
读取
数据
,并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行
spark
需要分布式文件存储?
浏览 3
提问于2021-03-25
得票数 0
4
回答
从星火连接到
mysql
、
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/
spark
:1.6.0 bash 这项工作如预期的那样Map("url"
浏览 5
提问于2016-09-11
得票数 0
3
回答
在写入dataframe - pyspark之前从表中删除记录
、
、
、
、
在从dataframe向表中写入
数据
之前,我正在尝试从表中删除记录。这对我不起作用。我做错了什么?query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172
提问于2020-10-14
得票数 1
回答已采纳
1
回答
Spark
Streaming
MYsql
、
我想获取
数据
行,这是插入到外部
mysql
数据
库后每2分钟。我想做这件事与火花流。但是在程序运行一次time.So后,我得到了这个错误,它第一次给了我
数据
,但在那之后,我得到了以下错误,程序终止了16/08/02 11:15:44 INFO JdbcRDD: closed._import org.apache.
spark
.streaming.Seco
浏览 16
提问于2016-08-03
得票数 1
1
回答
如何在火花上下文中指定多个jdbc驱动程序?
、
、
我有一个应用程序,它从
mysql
和postgresql
读取
数据
并进行
数据
处理。我有以下函数来初始化
spark
: global sc, sqlContext, sqlCtx, sql,
spark
'
spark
.driver.extraClassPath', 'pa
浏览 2
提问于2020-08-13
得票数 1
2
回答
使用Apache编写错误
、
、
我是一个使用
Spark
的新手。我遵循了DataBricks:的在线指南import org.apache.
spark
.SparkConf; import org.apache.
spark
.api.java.JavaSparkContext;import org.apache.
spark
.sql
浏览 4
提问于2017-05-01
得票数 0
回答已采纳
2
回答
从
MySQL
读取
位
数据
类型和用AWS胶转换为红移的问题
、
、
我在
MySQL
数据
库中有一个表,其中包含一个名为activity的列,该列的
数据
类型为BIT。当转换为INT时,它可以接受值1、2或3。我还尝试使用ApplyMapping将其转换为INT,但没有成功。
浏览 0
提问于2018-10-25
得票数 3
回答已采纳
2
回答
从GCP到内部部署的Scala sql查询远程访问错误
、
、
、
、
expands to) df1 = sql(s"select * from(which expands to) df2 = c.prepareStatementoption("url", "jdbc:
mysql
:&
浏览 15
提问于2019-09-24
得票数 2
1
回答
使用
spark
创建新的
MySQL
表
、
、
、
、
我知道我们可以使用
spark
从现有的
mysql
表中
读取
和写入
数据
。但是,我们甚至可以创建
mysql
表并使用dataframes将
数据
插入其中吗?当我试图将文件加载到dataframe并试图写入不存在的表时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationPr
浏览 1
提问于2018-03-12
得票数 2
1
回答
从星火上游不同系统
读取
数据
、
如果
数据
来自多个源系统(如RDBMS ),有时来自CSV文件或任何其他文件格式或上游系统,那么如何处理file中的
数据
摄取。如果文件格式已知,则可以在
读取
为
spark
.read.csv或
spark
.read.jdbc时指定它。但是如果它是动态的,那么如何处理
数据
摄入呢?
浏览 6
提问于2021-12-13
得票数 0
2
回答
spark
并行
读取
mysql
数据
、
、
、
我正在尝试从
mysql
中
读取
数据
,并将其写回s3中具有特定分区的parquet文件,如下所示: .options(driver='com.
mysql
.jdbc.Driver',url="""jdbc:
mysql
://<host>:3306/<>db?write.parquet(path='s3n:&
浏览 3
提问于2016-01-28
得票数 10
3
回答
Spark
似乎不使用与Hive相同的仓库
、
、
、
、
我已经开始在我的Eclipse上使用
Spark
2.0,我创建了一个maven项目,并获得了所有最新的依赖项。我能够毫无问题地运行配置单元查询。我担心的是
Spark
为hive创建了另一个仓库,并且没有使用我想要的
数据
仓库。因此,我的服务器上的所有配置单元表,我无法将这些配置单元表
读取
到我的
Spark
数据
集中,也无法进行任何转换。我只能创建和处理新表,但我希望在hive中
读取
我的表。createDatabaseIfNotExist=true</value&
浏览 1
提问于2016-11-11
得票数 1
1
回答
Spark
SQL 2.1是否支持将临时表或hive表写入
Mysql
/Oracle?
我使用的是
Spark
SQL 2.1, 我可以在
Spark
SQL中以临时视图的形式从
mysql
/oracle中
读取
数据
: val url = "jdbc:
mysql
://localhost:3306pass = "root" s""" USING org.apache.<
浏览 9
提问于2019-03-29
得票数 0
2
回答
PySpark找不到适合jdbc的驱动程序:
mysql
://dbhost
、
、
我正在尝试将我的
数据
写入
mysql
表。当我尝试写作时,我得到了No suitable driver found for jdbc:
mysql
://dbhost。作为预处理的一部分,我从同一个DB中的其他表中
读取
数据
,没有问题。我可以完成完整的运行,并将行保存到一个parquet文件中,因此它肯定是从
mysql
读取
的。我提交文件时使用:
spark
-submit --conf
spark
.executor.extra
浏览 5
提问于2015-06-17
得票数 7
回答已采纳
1
回答
AWS胶水总是发送一个'select * ....‘对于SQL Server,为什么以及如何改变这一点?
、
、
、
在分析了整个模式之后,我创建了一个作业来查询一些表,并使用活动监视器来检查什么是胶水发送到
数据
库,而查询只是对整个表的select *。执行此操作的代码如下:
spark
_context = SparkContext.getOrCreate() glue_context = GlueContext(
spark
_context)如何将此请求更改为“select column1,column2 from table_name”,而不是select *...因为想象一下,在这个表上,我有一个不需要执行任何转换的blob内容,如果不使用这些
浏览 23
提问于2020-06-27
得票数 1
回答已采纳
1
回答
使用jdbc触发执行
、
、
、
、
在
Spark
dataframe中,假设我从oracle获取
数据
,如下所示。 查询会完全在oracle中发生吗?假设查询很大。那么,这对oracle来说是一种开销吗?更好的方法是
读取
单独的dataframe中的每个过滤表
数据
,并使用
Spark
SQL或dataframe连接它,以便在
spark
中进行完整的连接?你能帮个忙吗?df = sqlContext.read.format('jdbc').options( url="jdbc:
mysql</em
浏览 8
提问于2020-09-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
hello,MySQL—odbcload读取MySQL数据
Pandas从MySQL中读取和保存数据
通过PHP读取mysql数据库数据,在页面展示
用python读取Excel数据,并插入到MySQL数据库
大数据集群服务安装-mysql,hive,azkaban,sqoop,spark,python
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券