腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
将
spark
数据
框
列
中
的
值
提
取到
新
的
派生
列
中
、
、
下面是我
的
数据
框架架构 root |-- SYSTEM_NAME: string|-- LAST_MOD_DATE: string (nullable = true) |-- FILE_SIZE: string (nullable = true) 我想在从某些
列
中提取
数据
值
后
派生
出一个
列
位置
列
中</em
浏览 26
提问于2020-10-30
得票数 0
2
回答
如何向DataFrame添加
新
的
结构
列
、
、
、
、
我目前正在尝试从MongoDB中提取
数据
库,并使用
Spark
通过geo_points将其摄
取到
ElasticSearch
中
。Mongo
数据
库有纬度和经度
值
,但ElasticSearch要求将它们转换为Mongo类型。
Spark
中有没有一种方法可以
将
lat和lon
列
复制到array或struct
的
新
列
中
如有任何帮助,我们不胜感激!
浏览 0
提问于2015-07-25
得票数 23
回答已采纳
2
回答
如何通过
派生
编辑距离
数据
框
列
(字符串)向
spark
中
的
数据
框
添加
新
列
我是Scala和
Spark
的
新手。我想通过计算编辑距离从
数据
框
的
现有
列
派生
出一个
新
列
。例如,FNAME和LNAME是两
列
数据
帧,希望添加名为NAMESCORE
的
新
列
,该
列
保持FNAME到LNAME
的
编辑距离。请告知工作或伪代码。 这是我得到
的
部分答案
的
链接。
浏览 0
提问于2016-03-21
得票数 1
3
回答
在从其他
列
派生
的
数据
框
中
添加
新
列
(
Spark
)
、
、
、
我使用
的
是
Spark
1.3.0和Python。我有一个dataframe,我希望添加一个从其他
列
派生
的
附加
列
。., col_m, col_n]col_n = col_3 - col_4 我如何在PySpark
中
做到这一点?
浏览 2
提问于2015-07-10
得票数 40
回答已采纳
1
回答
如何在pyspark
中
解析嵌套
的
xml
、
</c><d="value2" e="string" /></b></a> 通过使用data bricks xml解析器,我希望
将
"c“
的
string1、string2
值
作为列表提
取到
dataframe
的
列
浏览 1
提问于2018-03-26
得票数 3
1
回答
在postgres
数据
库
的
SQL查询
中
,如何
将
timestamp
列
的
数据
转换为整数值?
、
我正在尝试从GP读取
数据
,并使用
Spark
将
数据
摄
取到
HDFS。我需要一个整数列来对我从GP表
中
读取
的
数据
进行分区。这里
的
问题是,我没有主
列
,也没有任何具有唯一
值
的
列
。在这个场景
中
,我最依赖
的
列
是timestamp
列
,在这里我可以将它转换为Integer/Long。timestamp
浏览 100
提问于2019-02-19
得票数 0
回答已采纳
1
回答
将
字典从
spark
数据
帧
中
的
StringType
列
中分离出来
、
、
我有一个
spark
表,我想在python
中
读取(我在databricks中使用
的
是python3),实际上结构如下。日志
数据
存储在单个字符串列
中
,但它是一个字典。我如何拆分字典
中
的
条目来阅读它们。
spark
表读
取到
数据
帧
中
,找到最大事件时间戳,找到具有该时间戳
的
行,然后计数并仅
将
这些行读
取到
具有
数据
列
的
浏览 39
提问于2020-07-01
得票数 1
回答已采纳
1
回答
在pyspark
的
现有dataframe
中
添加
新
列
的
方法是什么?
、
、
、
我已经在现有的
数据
框
中
添加了一个
新
列
,但它没有反映在
数据
帧
中
。如果我们可以
将
数据
帧分配给另一个
数据
帧,我们就可以看到结果test.show() 有没有办法向现有的dataframe添加一个
新
浏览 4
提问于2021-01-26
得票数 0
1
回答
将
spark
数据
帧写入固定宽度文件java
spark
、
、
我已经使用java
spark
dataframe
将
CSV读
取到
dataframe
中
,现在我必须对每个
列
应用一些宽度,并将
数据
写入固定宽度
的
文件
中
。因为example..column 1有2位宽,
列
2有7个bit...like,而我有85
列
。谁能解释一下如何使用java
spark
将
dataframe
中
的
数据
写入到固定宽度<em
浏览 0
提问于2020-11-19
得票数 0
1
回答
在Java中将CSV
值
转换为
Spark
Dataframe
中
的
向量
、
、
、
、
我有一个包含两
列
的
CSV文件id
列
是一个字符串,而feature
列
是机器学习算法ie
的
一个逗号分隔
的
特征
值
列表。"1,4,5“我基本上只需要在
值
上调用Vectors.parse()来获得一个向量,但我不想首先转换为RDD。我想把它放到
Spark
Dataframe
中
,其中
的
features
列
是一个org.apache.
spark</em
浏览 3
提问于2018-03-17
得票数 0
1
回答
可以在
Spark
?
中
写入MEDIUMTEXT类型
的
MySQL
列
。
、
、
、
我正在使用
Spark
SQL从一个MySQL表
中
读入一个
数据
框
,其中有一
列
的
类型为MEDIUMTEXT。当我
将
数据
框
原封不动地写入
新
表
中
时,该
列
现在
的
类型为TEXT,并且我得到了一个MySQL MysqlDataTruncation异常。我不知道我是不是运气不好,或者有什么方法可以告诉
Spark
SQL特定于MySQL
的
结果<e
浏览 141
提问于2019-08-08
得票数 2
2
回答
将
数据
框
列
中
的
TLD、SLD提
取到
新
列
中
、
、
、
我正在尝试从
数据
帧
中
的
列
中提取顶级域(TLD)、第二级域(SLD)等,并添加到
新
列
中
。目前我有一个解决方案,我将它转换成一个列表,然后使用tolist,但由于这是顺序追加,所以它不能正常工作。None2 3 4 xyzabc gouv fr 我希望C2总是包含TLD (com,pro,fr),C1总是包含SLD,我相信有更好
的
方法来正确地做到这一点
浏览 6
提问于2021-04-25
得票数 1
回答已采纳
1
回答
你能在pyspark中有一
列
数据
帧吗?
、
、
、
我对pyspark/bigdata有点陌生,所以这可能不是一个好主意,但我有大约一百万个单独
的
CSV文件,每个文件都与一些元
数据
相关联。我想要一个pyspark dataframe所有元
数据
字段
的
列
,但也有一个
列
,其条目是(整个) CSV文件与每组元
数据
相关联。那么结果就像预期
浏览 2
提问于2016-11-17
得票数 0
1
回答
在SSIS中使用
派生
列
替换空
值
、
我有一个
数据
流任务,该任务
将
数据
从非unicode平面文件拾
取到
SQL Server表目标。 我使用Derived Column任务
将
日期
列
中
的
NULL
值
替换为字符串"1900-01-01“。目标表列是varchar
数据
类型。我使用了这个SSIS表达式(DT_STR,10,1252)REPLACENULL(dateColumn,"1900-01-01"),任务成功执行了,但是我在目的地看
浏览 15
提问于2018-02-09
得票数 0
4
回答
如何检索文件名并使用SSIS包将其存储在
数据
库
中
?
、
尝试了什么(编辑;因此将我
的
2更改为1-不知道为什么): 在Excel文件和
数据
库输入之间添加一个
派生
列
,并使用EFile表达式添加一个
列
(因此,在
派生
列
中
的
表达式下,它将是@User::EFile因此,如果有50个Excel文件,以及每个文件
中
的
数据
,
数据
库将在该
数据
旁边有50个文件名(因此,如果每个文件有1000行
数据
,
浏览 8
提问于2013-01-18
得票数 1
回答已采纳
2
回答
将
列
中
的
值
提
取到
新
列
、
、
、
我想要提取
列
的
内部到几个
列
。以下是导入dataframe后
的
原始
数据
。我想在Details
列
中提取值。但我不知道该怎么做。我
的
预期
数据
如下所示 data = {'ID': ['A0001', 'A0002', 'A0003', 'A0004', 'A0005'], 'Name': ['J
浏览 35
提问于2020-11-25
得票数 0
2
回答
SSIS -从.csv导出到SQL
、
、
SQL 2008 : SSIS包我
的
SQL Table有一个额外
的
列
: SortCode。此列
的
值
是通过变量追加
的
。
浏览 0
提问于2011-06-23
得票数 0
回答已采纳
1
回答
无法更新从现有
列
派生
的
行
中
的
新
列
值
,这些
列
具有由“,”分隔
的
多个
值
。?
、
、
原始
数据
帧 ? 使用堆栈和拆分转换
的
数据
帧: ? 向转换后
的
数据
框
添加
新
列
: ? 我试图使用np.select(条件,
值
)添加一个
新
列
,但它没有更新从H1
中
派生
的
两个添加行,它返回0或NAN。有人能帮帮我吗? 请注意,我已经做了重置索引,但仍然没有帮助。
浏览 20
提问于2021-11-10
得票数 0
2
回答
Azure Data -我们可以在
数据
流
中
的
派生
列
中使用局部变量吗?
、
、
专家们,创建了一个
新
管道,并创建了一个变量"createDate“,
值
为”@utcNow“--我创建了一个”
数据
流“任务,在该任务
中
配置了我
的
源(一个简单
的
CSV文件),并添加了一个”
派生
列
“任务,因为我想在”
派生<
浏览 2
提问于2021-02-04
得票数 0
1
回答
如何在
Spark
DataFrame
中
从Mapstruct中提取
数据
?
、
、
、
如何从df_raw (“label”)中提取
数据
? 我用
的
是
Spark
1.6。我在
Spark
中
通过hivesql从Hive获取了
数据
,然后我得到了一个dataframe,但dataframe中有一
列
是Mapstruct,我试图从其中提取
数据
,但失败了,希望从stackoverflow
中
获得一些帮助,3Q非常感谢。在我从配置单元获得
数据
后,我获得了一个名为df_raw
的
数据
帧,其模
浏览 15
提问于2019-09-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Python更改数据框中的指定列
根据用户输入自动判断新列:示例中的列
Excel综合应用:如何显著标记出两列数据中的不同值?
【Excel】提取一列中的不重复值函数
【Excel】提取一列中的唯一值函数
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券