腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
声明字段
类型
和实际字段
类型
不匹配时生成空值的
PySpark
SQLContext.createDataFrame
、
、
在
PySpark
(v1.6.2)中,当使用指定的模式将RDD
转换
为DataFrame时,值
类型
与模式中声明的值
类型
不匹配的字段将
转换
为null。from
pyspark
import SparkContextfrom
pyspark
.sql.types import StructTypesqlContext.createDataFrame(rdd, schema=schema)
浏览 27
提问于2016-07-27
得票数 0
回答已采纳
1
回答
to
PySpark
中的字符串方法
、
我有一个用
pyspark
写的代码。我需要将其
转换
为字符串,然后将其
转换
为日期
类型
,等等。> type(df) > <class '
pyspark
.sql.dataframe
浏览 7
提问于2019-07-07
得票数 0
回答已采纳
1
回答
作业未显示在Spark WebUI上
、
、
我安装了spark,并使用anaconda安装了
pyspark
,然后在下面给出的jupyter笔记本中运行一段基本代码。然后我打开spark WebUI,但是我看不到任何正在运行或已完成的作业。from
pyspark
.sql import SparkSession .master("local")\ .appName
浏览 20
提问于2021-01-28
得票数 1
1
回答
` `
pyspark
‘与` `
pyspark
’包
、
、
、
pyspark
mllib和
pyspark
ml包有什么区别?: 我发现的一个不同之处是,
pyspark
ml实现了
pyspark
.ml.tuning.CrossValidator,而
pyspark
在没有
转换
类型
的情况下,每个框架之间似乎没有互操作性,因为每个框架都包含不同的包结构。
浏览 4
提问于2017-04-05
得票数 18
回答已采纳
1
回答
需要RDD的实例,但返回了类“
pyspark
.rdd.PipelinedRDD”
、
、
、
null")我需要一个实例RDD,但我正在获取一个类'
pyspark
.rdd.PipelinedRDD
浏览 0
提问于2017-06-04
得票数 5
回答已采纳
1
回答
spark将日期时间
转换
为时间戳
、
、
、
我在
pyspark
dataframe中有一个列,它的格式是2021-10-28T22:19:03.0030059Z (字符串数据
类型
)。如何在
pyspark
中将其
转换
为时间戳数据
类型
?我正在使用下面的代码片段,但它返回空值,因为它无法
转换
它。有没有人能推荐一下如何
转换
这个?
浏览 173
提问于2021-11-05
得票数 1
1
回答
星火DataFrame如何区分不同的VectorUDT对象?
、
、
、
、
我正在尝试理解DataFrame列
类型
。当然,DataFrame不是一个物化的对象,它只是一组Spark的指令,将来要
转换
成代码。但我认为,这个
类型
列表代表了在执行操作时JVM中可能出现的对象
类型
。import
pyspark
import
pyspark
.sql.functions as Fd'> DenseVector <class '
浏览 1
提问于2016-07-31
得票数 7
回答已采纳
3
回答
空值,同时将字符串
转换
为使用
pyspark
的datetime。
、
最近,我开始在databricks上使用
pyspark
,在将下面的字符串
转换
为DateTime数据
类型
时,如何获得空值是很有趣的。我在这里看过几篇关于如何做到这一点的文章,但似乎没有一篇对我有用。12/1/2010 8:26 004 10 30/2/2010 8:26 我正在尝试使用
pyspark
将invoicedate (字符串数据
类型</em
浏览 14
提问于2021-07-15
得票数 1
回答已采纳
1
回答
在Databricks中将数据
类型
从字符串
类型
更改为整数
类型
时的空值
、
我有一个包含数字列的表,如(959,1189.)当我检查列
类型
时,我发现它是字符串
类型
,所以我将列
类型
改为整数
类型
。问题是,当列变为整数
类型
时,它显示的是以前不存在的空值,而不是其他值(例如,每一个数字> 999 )--这就是我如何更改数据
类型
--任何帮助吗?::。from
pyspark
.sql.types import () .withColumn("Offres d
浏览 4
提问于2022-08-17
得票数 0
1
回答
将向量列添加到吡咯DataFrame中
、
、
、
如何将Vectors.dense列添加到
pyspark
中?import pandas as pdfrom
pyspark
.sql import SQLContextsdf.withColumn("features", DenseVector(1)) 给出anaconda3/lib/python3.6/s
浏览 1
提问于2018-04-14
得票数 1
回答已采纳
1
回答
如何将spark dataframe中的String
类型
列
转换
为Pandas dataframe中的String
类型
列
、
、
我有一个从熊猫数据帧创建的样本spark数据帧-from
pyspark
.sql.types import StringType |-- input1: long (nullable =
浏览 3
提问于2020-09-09
得票数 0
1
回答
将
PySpark
数据
类型
转换
为字典
、
、
、
、
我需要将大约20个
PySpark
表
转换
为Pandas (应用使用Pandas构建的一些变量统计函数)。基本上,我有我想要的翻译
PySpark
<=>Pandas
类型
。我知道如何检索
PySpark
类型
。但我不知道如何将
PySpark</em
浏览 16
提问于2022-06-10
得票数 0
回答已采纳
1
回答
Python to
Pyspark
函数UDF如何输出列表列表
、
、
、
、
我在Python语言中有一个函数(有许多不同的函数,但情况相同),我正在将它
转换
为
PySpark
,然而,这个函数有一个不同整数
类型
的列表作为输入,有一个输出是一个列表,其中包含n个整数
类型
的列表,举个例子: #I know some libraries are not necessary righ nowfrom
pyspark
import SQLContext from
pyspark
.sql.types import StructTy
浏览 55
提问于2021-09-19
得票数 0
1
回答
pyspark
.pandas.frame.DataFrame与
pyspark
.sql.dataframe.DataFrame的差异及其
转换
、
、
我找不到关于这一点的任何详细文档,那么
pyspark
.pandas.frame.DataFrame和
pyspark
.sql.dataframe.DataFrame之间有什么区别,在哪里可以找到它们的方法的文档呢另外,如何将其中一个
转换
成另一个,反之亦然?
转换
它们总是无缝的还是某些数据
类型
不被识别?
浏览 6
提问于2022-09-12
得票数 1
回答已采纳
1
回答
星星之火1.6:如何将从Scala jar生成的RDD
转换
为吡火花RDD?
、
、
、
我正在尝试创建一些POC代码,演示如何从
PySpark
调用Scala函数,结果是一个
PySpark
.RDD。sc.parallelize(List.range(1, 10))这就是我在
PySpark
端访问它所做的事情:>>> jrdd = foo.getTestRDD(sc._jsc.sc())>>
浏览 18
提问于2017-05-05
得票数 0
回答已采纳
1
回答
使用pysprak处理struct数据
类型
、
、
我计划在
pyspark
中处理struct数据
类型
,它映射dynamodb中的数据
类型
。由于我计划在dynamodb表中执行
转换
,该表具有一个map属性,因此我希望使用
pyspark
实现相同的
转换
。
浏览 2
提问于2020-05-29
得票数 0
3
回答
将数据抛出错误
转换
为列字符串
我有两个数据
类型
为+----+----------------++100| 8606738 || 130| 8602984 |我希望使用
pyspark
命令将列区域
转换
为str,但我得到的错误如下所示 str (df‘str’):但它没有将数据
类型
浏览 1
提问于2019-05-17
得票数 0
回答已采纳
2
回答
如何在
pyspark
中将映射字符串
转换
为映射
、
我有一个csv文件,如下所示(它是从
pyspark
输出中保存的) name_value"[quality1 -> good, quality2 -> excellent]" 如何使用
pyspark
读取此csv文件并将name_value列
转换
为映射
类型
?
浏览 42
提问于2021-10-04
得票数 0
回答已采纳
2
回答
如何在火花放电中将密集向量的关系式
转换
成DataFrame?
、
、
、
、
0.0, 0.0, 0.0]), DenseVector([0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0])] File "<stdin>", line 1, in <module> File "/opt/BIG-DATA/spark-2.0.0-bin-hadoop2.7/python/
pyspark
import SparkConf,
浏览 3
提问于2016-12-26
得票数 11
回答已采纳
1
回答
pyspark
线性回归模型给出错误此列名必须是数字
类型
,但实际上是字符串
类型
、
、
我在
pyspark
中建立了一个多标称回归模型,在运行我的线性回归模型后,它给出了这个错误:"IllegalArgumentException: U‘’requirement:列标签必须是NumericType
类型
,但实际上是StringType
类型
。nullable = true)在这里,在多项式回归模型中,我的目标变量应该是int_rate(这是string
类型
我想我必须对数据集中的每个变量进行
类型
浏览 3
提问于2018-03-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
类型转换
PySpark数据分析基础:PySpark原理详解
Java数据类型及类型转换
go类型转换断言与转换
pyspark 安装
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
云直播
活动推荐
运营活动
广告
关闭
领券