腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Mysql
中读取
Spark
、
、
我有一个
spark
作业,它从
mysql
读取一个表,但出于某种原因,
spark
将int列定义为布尔值。如何在表读取期间强制
数据类型
?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1).config
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
1
回答
使用
Spark
Scala将SqlServer
数据类型
转换为Hive
数据类型
、
、
Spark
用于从SQL server DB中
获取
表的模式。由于
数据类型
不匹配,我在使用此模式创建配置单元表时遇到问题。如何在
Spark
Scala中将SQL Server
数据类型
转换为Hive
数据类型
。
浏览 48
提问于2019-07-19
得票数 1
1
回答
在
Spark
中显示在Hive表上创建表--将CHAR、VARCHAR视为字符串
、
我试着用
Spark
和Beeline来完成这个任务。每条语句的直线时间大约为5-10秒,而斯派克在几毫秒内完成了同样的工作。我计划使用火花,因为它比直线更快。使用
spark
从hive
获取
DDL语句的一个缺点是,它将CHAR、VARCHAR字符视为字符串,并且不保留CHAR、VARCHAR
数据类型
的长度信息。同时直线保存CHAR、VARCHAR
数据类型
的
数据类型
和长度信息。我正在使用星火2.4.1和Beeline 2.1.1。 给出下面的示例create命令及其显示create输出。直线输出
浏览 1
提问于2022-03-10
得票数 0
3
回答
从Apache
Spark
中的模式
获取
数据类型
列表
、
、
、
、
我在
Spark
-Python中使用以下代码从DataFrame的模式中
获取
名称列表,这很好用,但是如何
获取
数据类型
列表呢?columnNames = df.schema.namescolumnTypes = df.schema.types 有没有办法获得包含在DataFrame模式中的
数据类型
的单独列表
浏览 1
提问于2016-05-20
得票数 25
回答已采纳
1
回答
如何将
spark
查询结果转换为dataframe python
、
、
、
如何将
spark
.sql查询结果转换为dataframe,当我在代码行下面运行时,它给了object任何读取object的方法,给出了数据结果df =
spark
_session.sql
浏览 14
提问于2022-06-22
得票数 0
1
回答
无法隐式地将“Microsoft.
Spark
.CSharp.Sql.DataFrame”类型转换为“System.Collections.IEnumerable”
、
、
我正在尝试使用
spark
从
MySQL
表中
获取
一些记录,我在执行该查询时得到了一个错误。我想根据列的日期
获取
数据,列的
数据类型
是
MySQL
中的日期时间,我正在与.Net技术合作老:得到了新的例外: 匿
浏览 5
提问于2017-09-22
得票数 0
回答已采纳
2
回答
检查列
数据类型
并仅对
Spark
SQL中的Integer和Decimal执行SQL
、
、
、
我正在尝试检查来自输入Parquet文件的列的
数据类型
,如果
数据类型
是Integer或Decimal,则运行
Spark
SQL。)) //get the field name val dfs = x.map(field =>
spark
.sqlapprox_count_distinct($field)/count(1) from parquetDFTable) as Percentage
浏览 1
提问于2017-07-26
得票数 3
回答已采纳
6
回答
星火箱类-十进制型编码器错误“不能从十进制转换”。
、
、
我从
MySQL
/MariaDB中提取数据,在创建Dataset期间,
数据类型
发生错误 线程"main“org.apache.
spark
.sql.AnalysisException中的异常:不能从十进制(30,6)到十进制(38,18),因为它可能截断目标对象的类型路径是:- AMOUNT (类:"org.apache.
spark
.sql.types.Decimal",名称:”org.apache.
spark
.sql.types.Decimal“)-根类:"
浏览 16
提问于2016-12-03
得票数 13
回答已采纳
1
回答
加载蜂巢表中的火花org.apache.
spark
.sql.catalyst.analysis.UnresolvedException错误
、
在尝试将数据集中的数据加载到Hive表时,
获取
错误: Datase
浏览 0
提问于2018-09-03
得票数 1
1
回答
在
spark
sql中,like操作符和group_concate操作符的交替是什么?
、
、
、
在
mysql
中,我们在group_concat上使用can use like operator,例如但它在
spark
sql中不起作用,因为我使用了collect_set而不是group_concat。它显示了
数据类型
不匹配异常。
浏览 2
提问于2016-08-31
得票数 0
2
回答
对PHP的简单访问
、
如何从 (*.mdb)读取数据并
获取
列
数据类型
?更具体地说,将来自的数据插入到
MySQL
数据库中? 谢谢。
浏览 7
提问于2012-05-29
得票数 1
回答已采纳
1
回答
在Apache
Spark
2.0.0中,是否可以从外部数据库
获取
查询(而不是
获取
整个表)?
、
、
、
使用pyspark: .builder\ .getOrCreate() .format("jdbc")\
浏览 3
提问于2016-08-03
得票数 6
回答已采纳
1
回答
获取
Apache
spark
数据集中包含的列的列
数据类型
、
、
我想知道是否有一种方法可以使用java
获取
Apache
spark
数据集中包含的列的
数据类型
?我编写了以下代码来修剪该列中的数据:我正在尝试
获取
SSN列的
数据类型
,以对照预期类型对其进行验证。
浏览 16
提问于2018-02-07
得票数 1
12
回答
如何
获取
mysql
表列的
数据类型
?
我想要
获取
mysql
表的列
数据类型
。我得到的错误是query was empty 如何
获取
列
数据类型
?
浏览 2
提问于2009-08-01
得票数 123
1
回答
在GKE上部署时,
Spark
无法连接到
mysql
、
、
、
我正在GKE上的Kubernetes上部署一个批处理
spark
作业。Job试图从
MySQL
(Google Cloud SQL)
获取
一些数据,但它给出了连接链接故障。我尝试通过从pod安装
mysql
客户端来手动连接到
mysql
,连接正常。我还需要配置什么吗?例外: Exception in thread "main" com.
mysql
.cj.jdbc.exceptions.CommunicationsException: Communications linkat
浏览 15
提问于2019-10-21
得票数 0
1
回答
如何使用
Spark
/Hive SQL中的DESCRIBE TABLE获得完整的data_type?
、
、
、
、
在
Spark
/Hive SQL中,我们可以使用DESCRIBE TABLE table_name来
获取
表的模式。但是,如果data_type太长,data_type列可能不会返回完整类型。有没有办法使用
Spark
/Hive SQL
获取
完整的列
数据类型
?
浏览 28
提问于2021-03-10
得票数 0
8
回答
使用pyspark
获取
列的
数据类型
、
、
我正在尝试使用pyspark
获取
一个
数据类型
。1238 56.22345566677777789 21 实际上,我们没有为mongo集合的任何列定义
数据类型
浏览 42
提问于2017-07-11
得票数 62
回答已采纳
1
回答
Spark
中
mysql
查询的顺序
、
我在
Spark
中有一个需求,在那里我需要从
mysql
实例中
获取
数据,在经过一些处理之后,可以从一个不同的
mysql
数据库中
获取
更多的数据。但是,当我试图再次从map函数中访问数据库时,我会得到一个org.apache.
spark
.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)
浏览 0
提问于2018-03-12
得票数 1
回答已采纳
2
回答
获取
地理二进制PySpark的文本
、
、
、
、
我正在读取一个使用AWS DMS服务从
MySQL
表生成的parquet文件。此表有一个类型为Point (WKB)的字段。当我读取这个拼图文件时,
Spark
根据下面的代码将其识别为二进制类型: file_dataframe = sparkSession.read.format('parquet')\|U�...||@G|@G|@G| G| G| G| G U�...|
MySQL<
浏览 20
提问于2020-09-19
得票数 0
回答已采纳
5
回答
是否将
MySQL
查询结果作为其本机
数据类型
?
、
、
、
我曾尝试使用
mysql
_fetch_row()和
mysql
_result()
获取
MySQL
查询结果,结果返回的是字符串形式的数值。 有没有办法将数据作为存储在表中的
数据类型
来
获取
?应用程序将查询许多不同的查询,因此我无法将值转换为1×1的预期
数据类型
。
浏览 0
提问于2010-03-12
得票数 19
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Access获取字段的数据类型
Mysql数据类型及查询浅析实战
MySQL中的数据类型及约束
mysql基本数据类型和引擎
MySQL数据库之数据类型
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券