腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Mysql
中
读取
Spark
、
、
我有一个
spark
作业,它从
mysql
读取
一个表,但出于某种原因,
spark
将int列定义为布尔值。如何在表
读取
期间强制数据类型?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1) .config("
spark
.sql.adaptive.enabled", "true")
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
2
回答
从
mysql
读取
火花外壳中的数据
、
、
首先,我构建了scala应用程序,使用这一行代码从apache中的
mysql
表中
读取
数据。","file:///tmp/
spark
-warehouse").getOrCreate()var df =
spark
.read.format("jdbc.option("password", "root")现在,我正尝
浏览 2
提问于2017-10-02
得票数 1
4
回答
从星火连接到
mysql
、
docker run -it -p 8088:8088 -p 8042:8042 -p 4040:4040 -h sandbox sequenceiq/
spark
:1.6.0 bash 这项工作如预期的那样Map("url"
浏览 5
提问于2016-09-11
得票数 0
1
回答
如何将
Spark
与我的SQL数据库Scala连接
、
、
、
我想查询
MySQL
数据库,然后将一个表加载到
Spark
中。然后,我想使用SQL查询在表上应用一些过滤器。一旦过滤了结果,我想以JSON的形式返回结果。{SparkConf, SparkContext} .config("format","jdbc") .config("url","jdbc:
mysql
:
浏览 0
提问于2019-08-19
得票数 0
回答已采纳
1
回答
spark
.sql()和
spark
.read.format("jdbc").option("query“、"")之间有什么区别?
、
、
、
我假设
spark
.sql(查询)是在使用
spark
.sql时使用的,而
spark
.read.format("jdbc").option("query“、"")则是在使用oracle语法时使用的。
浏览 3
提问于2021-08-16
得票数 3
回答已采纳
1
回答
如何在火花上下文中指定多个jdbc驱动程序?
、
、
我有一个应用程序,它从
mysql
和postgresql
读取
数据并进行数据处理。我有以下函数来初始化
spark
: global sc, sqlContext, sqlCtx, sql,
spark
'
spark
.driver.extraClassPath', 'path/to/<e
浏览 2
提问于2020-08-13
得票数 1
1
回答
使用Python从
MySQL
数据库表中
读取
SparkSQL
、
、
我在
MySQL
中有一个'user‘表。我想把它读到我的
Spark
SQL程序中。如何使用Python将表从
MySQL
读取
到Apache
Spark
的SparkSQL模块?
浏览 0
提问于2016-04-25
得票数 12
1
回答
如何使用
Spark
对
MySQL
(JDBC)执行join?
、
、
、
我想通过
Spark
从
MySQL
中
读取
数据。我看到的API能够从特定表中
读取
数据。prop.setProperty("user", "<username>")谢谢
浏览 1
提问于2016-11-21
得票数 2
1
回答
是分布式文件存储(HDFS/Cassandra/S3等)是否强制
spark
在群集模式下运行?若有,原因为何?
、
、
是分布式文件存储(HDFS/Cassandra/S3等)是否强制
spark
在群集模式下运行?若有,原因为何?
Spark
是用于计算海量数据的分布式数据处理引擎。假设我在
mysql
中存储了大量数据,我想对这些数据进行处理。
Spark
从
mysql
读取
数据,并在集群节点本身上执行内存(或磁盘)计算。我仍然不能理解为什么在集群模式下运行
spark
需要分布式文件存储?
浏览 3
提问于2021-03-25
得票数 0
1
回答
Spark
SQL 2.1是否支持将临时表或hive表写入
Mysql
/Oracle?
我使用的是
Spark
SQL 2.1, 我可以在
Spark
SQL中以临时视图的形式从
mysql
/oracle中
读取
数据: val url = "jdbc:
mysql
://localhost:3306pass = "root" s""" USING org.apache.
spark<
浏览 9
提问于2019-03-29
得票数 0
3
回答
Spark
似乎不使用与Hive相同的仓库
、
、
、
、
我已经开始在我的Eclipse上使用
Spark
2.0,我创建了一个maven项目,并获得了所有最新的依赖项。我能够毫无问题地运行配置单元查询。我担心的是
Spark
为hive创建了另一个仓库,并且没有使用我想要的数据仓库。因此,我的服务器上的所有配置单元表,我无法将这些配置单元表
读取
到我的
Spark
数据集中,也无法进行任何转换。我只能创建和处理新表,但我希望在hive中
读取
我的表。createDatabaseIfNotExist=true</value> <descript
浏览 1
提问于2016-11-11
得票数 1
2
回答
从
MySQL
读取
位数据类型和用AWS胶转换为红移的问题
、
、
我在
MySQL
数据库中有一个表,其中包含一个名为activity的列,该列的数据类型为BIT。当转换为INT时,它可以接受值1、2或3。我还尝试使用ApplyMapping将其转换为INT,但没有成功。
浏览 0
提问于2018-10-25
得票数 3
回答已采纳
1
回答
合并减少JDBC
读取
并行性
我利用
Spark
的JDBC功能如下: 在DataFrame的整个生命周期中,不对其执行**。由于
Spark
的懒惰评估,coalesce减少了
读取
操作的并行性。因此,如果我使用带有DataFrame的DataFrameReader.jdbc(..numPartitions..)
读取
numPartitions=42,然后在编写之前将其读到6partition,那么它
读取
DataFrame时的
浏览 2
提问于2018-04-18
得票数 2
回答已采纳
2
回答
使用
Spark
从Hive
读取
数据
、
、
、
问题[error] (run-main-0) org.apache.
spark
.sql.AnalysisException: Table or viewnot found: tags; line 1 pos 14 我在$
SPARK
_HOME/conf和$HIVE_HOME/conf中都放置了hive-site.xml。同样,我使用sqoop从
mysql
抓取数据并将其导入hive也没有问题。我的Scala代码有问题吗?或者这是一个配置错误?Scala代码:
浏览 2
提问于2017-04-08
得票数 3
2
回答
如何将数据从csv加载到
Spark
中的
mysql
数据库?
、
、
、
、
我想将数据从csv作为一个批处理加载到
mySql
。但是我可以看到将csv中的数据插入到hive数据库的教程/逻辑。有谁能好心地帮助我实现以上使用scala的
spark
集成?
浏览 3
提问于2017-10-27
得票数 0
回答已采纳
3
回答
在写入dataframe - pyspark之前从表中删除记录
、
、
、
、
query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver
浏览 172
提问于2020-10-14
得票数 1
回答已采纳
1
回答
使用
spark
创建新的
MySQL
表
、
、
、
、
我知道我们可以使用
spark
从现有的
mysql
表中
读取
和写入数据。但是,我们甚至可以创建
mysql
表并使用dataframes将数据插入其中吗?当我试图将文件加载到dataframe并试图写入不存在的表时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationProvider.scala:99)的j
浏览 1
提问于2018-03-12
得票数 2
2
回答
PySpark找不到适合jdbc的驱动程序:
mysql
://dbhost
、
、
我正在尝试将我的数据写入
mysql
表。当我尝试写作时,我得到了No suitable driver found for jdbc:
mysql
://dbhost。作为预处理的一部分,我从同一个DB中的其他表中
读取
数据,没有问题。我可以完成完整的运行,并将行保存到一个parquet文件中,因此它肯定是从
mysql
读取
的。我提交文件时使用:
spark
-submit --conf
spark
.executor.extraClassPath=/ho
浏览 5
提问于2015-06-17
得票数 7
回答已采纳
2
回答
使用Apache编写错误
、
、
我是一个使用
Spark
的新手。我遵循了DataBricks:的在线指南import org.apache.
spark
.SparkConf; import org.apache.
spark
.api.java.JavaSparkContext;import org.apache.
spark
.sql
浏览 4
提问于2017-05-01
得票数 0
回答已采纳
3
回答
使用HiveFromSpark =yarn-cluster运行纱线示例
、
、
、
我正在尝试在我的EMR
Spark
/Hive集群上运行示例。问题所在~/
spark
/bin/
spark
-submit --master yarn-client --num-executors=19 --class org.apache.
spark
.examples.sql.hive.HiveFromSpark~/
spark
/lib/
spark
-examples-1.3.0-hadoop2.4.0.jar 就像一
浏览 23
提问于2015-04-15
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
hello,MySQL—odbcload读取MySQL数据
Pandas从MySQL中读取和保存数据
Spark核心编程RDD分区器以及文件读取与保存
Java中如何读取MySQL的DateTime类型值
使用Spark将本地文件读取并封装为DataFrame的完整指南
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券