腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
在
2个
Spark
数据
框
列
之间
使用
"IS IN“
、
、
、
我有上面的
数据
框架: ('ALT', ['chien', 'chat']| [tigre, lion]| lion|+--------+---------------+------+ 我想创建一个新
列
,如果"Animal“
列
中的字符串
在
列表中,则”Anim
浏览 1
提问于2018-01-29
得票数 4
回答已采纳
1
回答
在
SparklyR中
使用
datetime
列
的星期几的
列
、
、
我正在对一个大型
数据
集进行一些分析,因此
使用
sparkly R来保存
数据
。我的
spark
数据
框
中的一
列
是日期时间
列
,例如2015-05-01 13:40:47 我希望
在
我的
spark
数据
框
中添加一个新
列
,其中包含此日期对应的星期几。
浏览 29
提问于2020-08-20
得票数 0
1
回答
spark
vs pandas dataframe (具有大
列
) jupyter笔记本中的head(n)
、
、
、
、
几天后,
数据
带来了大量的功能。为了获得简短的
数据
摘要,人们将
数据
加载到
数据
框
中,并
使用
head()方法显示
数据
。
使用
Jupyter Notebook( Toree for scala)进行实验是很常见的。
Spark
(scala)很适合处理大量
数据
,但是它的head()方法不能在水平滚动的notebook中显示
列
标题。熊猫
数据
帧头
Spark
Scala
浏览 3
提问于2018-06-13
得票数 2
1
回答
可以
在
Spark
?中写入MEDIUMTEXT类型的MySQL
列
。
、
、
、
我正在
使用
Spark
SQL从一个MySQL表中读入一个
数据
框
,其中有一
列
的类型为MEDIUMTEXT。当我将
数据
框
原封不动地写入新表中时,该
列
现在的类型为TEXT,并且我得到了一个MySQL MysqlDataTruncation异常。我不知道我是不是运气不好,或者有什么方法可以告诉
Spark
SQL特定于MySQL的结果
列
类型是什么。 在座有人对这个问题有所了解吗?
浏览 141
提问于2019-08-08
得票数 2
1
回答
当
spark
序列化程序与Dataframe API一起
使用
时
、
我想知道如果我的应用程序
使用
DataFrame API,什么时候
使用
spark
.serializer?不用于缓存或用于闭包序列化和广播变量的shuffling.Only的。
浏览 39
提问于2018-06-08
得票数 0
1
回答
在
pyspark的现有dataframe中添加新
列
的方法是什么?
、
、
、
我已经
在
现有的
数据
框
中添加了一个新
列
,但它没有反映在
数据
帧中。如果我们可以将
数据
帧分配给另一个
数据
帧,我们就可以看到结果test.show() 有没有办法向现有的dataframe添加一个新的
列
(不复制dataframe)?我们<em
浏览 4
提问于2021-01-26
得票数 0
1
回答
如何从现有的时间戳
列
向
spark
dataFrame添加新的datetime
列
、
我
在
Spark
中有一个
数据
帧,它有一个
列
时间戳。我想在此
数据
框
中添加一个新
列
,该
数据
框
具有从此现有时间戳
列
创建的以下格式的DateTime。 “YYYY-MM-DD HH:MM:SS”
浏览 35
提问于2021-06-24
得票数 0
2
回答
spark
使用
其他
数据
框
列
更新
列
如何在
spark
Scala和
spark
+ sql中编写此代码?
浏览 1
提问于2021-07-07
得票数 0
2
回答
打印
Spark
中的
数据
框
列
类型
我尝试
在
我的
Spark
Data Frame上
使用
VectorAssembler,但它抱怨说它不支持StringType类型。我的
数据
框
有2126
列
。 打印所有
列
类型的编程方法是什么?
浏览 17
提问于2016-09-24
得票数 21
1
回答
如何在R中
使用
Spark
读取固定宽度的文件
、
、
、
、
我需要将一个10 to的固定宽度文件读到一个
数据
帧中。我如何在R中
使用
Spark
来做呢?假设我的文本
数据
如下:"0002USAmarina ",我希望前4个字符与
数据
框
的
列
"ID“关联;从字符5-7关联到
列
"Country";从字符8-14关联到
列</em
浏览 6
提问于2019-03-26
得票数 0
1
回答
spark
中的lit()有什么用处?下面两段代码返回相同的输出,
使用
lit()的好处是什么?
、
、
我这里有两段代码 gooddata=gooddata.withColumn("Priority",when((gooddata.Years_left < 5) & (gooddata.Years_left >= 0
浏览 2
提问于2020-06-10
得票数 0
2
回答
Pyspark替换
Spark
dataframe
列
中的字符串
、
、
我想通过替换子字符串
在
Spark
Dataframe列上执行一些基本的词干提取。做这件事最快的方法是什么?id address2 10 bar lane会变成 id address
浏览 0
提问于2016-05-05
得票数 54
回答已采纳
5
回答
如何将dataframe的所有
列
转换为字符串
、
、
我有一个混合类型的
数据
帧。我正在
使用
spark
.sql('select a,b,c from table')命令从hive表中读取此
数据
帧。一些
列
是int、bigint、double,而其他
列
是string。总共有32
列
。
在
pyspark中有什么方法可以将
数据
框
中的所有
列
转换为字符串类型吗?
浏览 149
提问于2017-02-07
得票数 12
回答已采纳
1
回答
转换
spark
数据
框
列
、
、
我有一个包含两
列
的
spark
dataframe : Stars (数值)和categories (标签字符串,例如:"Restaurant,Italien,High-end")。我希望重新创建
数据
帧,这样类别就变成了标签的计数。在上面的示例中,类别将变为3。 我曾尝试将
数据
帧视为熊猫
数据
帧,但似乎不起作用。我是
Spark
的新手,所以可能是因为我不太理解RDD的概念。
浏览 22
提问于2020-04-13
得票数 0
1
回答
左联接错误: org.apache.
spark
.sql.AnalysisException:检测到逻辑计划
之间
的左外部联接的隐式笛卡尔乘积
、
、
*编辑 df_joint = df_raw.join(df_items,on='x',how='left') Apache
Spark
2.4.5中出现标题异常 df_raw有2
列
"x“、"y”的
数据
,而df_items是模式的空
数据
框
,还有其他一些
列
左连接发生在null的值上,它应该从第一个dataframe中获取整个
数据
,并从第二个dataframe中获取空
列
。当"X“是浮点
浏览 31
提问于2020-12-20
得票数 0
1
回答
如何训练每个
列
值的单独模型?
、
、
如何基于窗口显示
Spark
数据
框
中的某一
列
来运行不同的回归模型?w = Window().partitionBy("id")例如,
数据
sdf =
spark
.createDataFr
浏览 0
提问于2017-12-22
得票数 0
1
回答
在
不更改列名的情况下创建PySpark
数据
框
、
、
、
我
使用
下面的CTAS命令
使用
SparkSQL创建表。FROM TBL1 在那之后,我正在
使用
下面的PySpark代码读取新创建的位置(TBL2)下面的文件。但是,下面的data frame仅
使用
lowercase中的所有列名创建。而预期的结果是
在
camel case中,就像我在上面对CTAS所做的那样。df =
spark
.read.format('ORC') \
浏览 12
提问于2019-12-23
得票数 1
回答已采纳
3
回答
Spark
Data Frames -检查
列
是否为整型
、
、
我正在尝试找出
spark
数据
框
中的
列
是什么
数据
类型,并基于该定义操作
列
。这是我到目前为止所知道的:from pyspark.sql import SparkSessiondf =
spark
.read.csv('Path To csv File',inferSc
浏览 8
提问于2018-04-12
得票数 1
1
回答
外部覆盖后
Spark
和Hive表模式不同步
、
、
、
在
Mapr集群中,
Spark
2.1.0和Hive 2.1.1中,Hive表的模式与
Spark
和Hive
之间
的同步出现了问题。步骤概述
使用
mode("overwrite").parquet("path/to/table")覆盖以前保存的表的
数据
。
使用
spark
.catalog.refreshTab
浏览 0
提问于2018-03-09
得票数 11
1
回答
如何在
Spark
DataFrame中从Mapstruct中提取
数据
?
、
、
、
如何从df_raw (“label”)中提取
数据
? 我用的是
Spark
1.6。我
在
Spark
中通过hivesql从Hive获取了
数据
,然后我得到了一个dataframe,但dataframe中有一
列
是Mapstruct,我试图从其中提取
数据
,但失败了,希望从stackoverflow
在
我从配置单元获得
数据
后,我获得了一个名为df_raw的
数据
帧,其模式是: root |-- subscriberid: strin
浏览 15
提问于2019-09-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Python更改数据框中的指定列
一文读懂 PySpark 数据框
一文读懂PySpark数据框
如何管理Spark的分区
英雄惜英雄-当Spark遇上Zeppelin之实战案例
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券