2回答
使用pyspark中的筛选器操作，我想选择列，这些列列在第一行. Ex: if的另一个数组中。然后选择列1、2和3以及所有行。这可以用filter命令来完成吗？如果是，有人能给出一个例子或语法吗？
浏览 1提问于2015-06-15得票数 1
回答已采纳
我有一个有两列的pyspark dataframe。如果另一列中的行值为空，我想用固定值填充一列。因此，在customer_df中，如果customer_address为null，则将城市列填充为“unknown” 我在试这个 customer_df = customer_df.withColumn
浏览 172提问于2020-09-26得票数 0
回答已采纳
1回答
我正在尝试使用mean来填充我的pyspark 3.0.1数据帧中的缺失值。我正在寻找像fillna函数这样的熊猫。例如 df=df.fillna(df.mean()) 但到目前为止，我发现在pyspark中，正在使用单个列的均值来填充缺失值，而不是整个数据集。你能建议我如何在pyspark中实现像fillna这样的熊猫吗？
浏览 31提问于2021-03-08得票数 1
回答已采纳
有没有办法用pyspark 2.1.0创建/填充列，其中列的名称是另一个列的值？你知道如何让列的名称来自另一个列，而不仅仅是值吗？我还尝试使用UDF函数定义作为变通方法，但同样没有成功。from pyspark.sql import functions as f
浏览 0提问于2018-09-13得票数 1
1回答
我从一个数据回购中获得了一个数据文件，它有一些基于日期的特性，例如问题1：为了训练一个模型，我应该把这些日期相关的列转换成分类吗？问题2：我如何在<em
浏览 1提问于2020-04-02得票数 0
2回答
如何在PySpark中创建一个新列并用今天的日期填充该列？= datetime.datetime.now()我知道这个错误：
AssertionError: col应该是列
浏览 4提问于2017-12-20得票数 30
回答已采纳
我想要创建一个包含两个列(X和Y)的DataGrid，即每个列都可以由不同的集合填充。Y列总是使用来自ObservableCollection(NPoint)，的Y数据填充，其中NPoint是一个具有X和Y属性的类。X列开始使用在其他地方定义的“默认值”填充( ObservableCollection(double)). )这个“默认”集合属于一个单例类。但是，根据附近的.IsChecked CheckBox，X列可能与Y数据相同的集合中</e
浏览 1提问于2014-05-13得票数 1
回答已采纳
我需要向现有的MySQL表中添加一个新列，并使用从另一列中计算出来的值填充。有什么方法可以用pt-online-schema-change来完成吗？
谢谢
浏览 5提问于2019-10-16得票数 2
回答已采纳
| 5 |C |2018-09-19|2018-10-17|从这一点出发，我想创建并填充另一个Pyspark，它的n列范围从min(d1)到max(d2)，每一列都是该范围内的日期。我希望为每一行填充1和0的数据。
对于第1行，我希望在最小(第1行的d1)到最大(第1行的d1)范围内的所有日子都填充1，并用0填充rest
浏览 0提问于2019-07-17得票数 1
回答已采纳
我想用一些用户控件填充网格视图，这些控件基于java代码在Android中的位置。例如，在一个8行8列的网格中，假设我想在Row1 X Column1中填充用户控件，假设我想在Row3 X Col4中填充用户控件，这意味着一些行X列我想填充为空，而另一些列则填充控件。或者我们可以用另一种方式来
浏览 1提问于2011-09-06得票数 0
3回答
我有一个PySpark dataframe，其中1列由字符串列表组成。我想在所有行中计算每个字符串列表中每个元素的实例数。伪码：for attr_list in df['attr_list']:另一种方法是将所有行的所有列表连接起来，并从单个庞大列表中构建一个计数器。在PySpark中是否有一种有效的方法来做到这一点？正确的输出将是
浏览 6提问于2020-05-08得票数 1
回答已采纳
我有一个PySpark模式，它描述数据集的列及其类型(我可以手工编写这些数据集，也可以从现有的数据集获取，然后转到“PySpark”选项卡，然后“复制PySpark模式”)。我想要一个包含此架构的空数据集，例如，它可以用作只写回写的本体对象的支持数据集。我怎样才能在铸造中创造这个呢？
浏览 16提问于2022-08-18得票数 3
回答已采纳
我有一个包含多个列(1000)的数据框，它们具有字符串类型。我希望将它们转换为不是一列一列地浮动，而是一次浮动所有数据帧。此外，我知道这是存在的： from pyspark.sql.types import IntegerType
data_df = data_df.withColumn("column_name",data_df["columns_name"].cast(IntegerType())) 但我正在研究这样的东西： data_df = data_df.cast(In
浏览 17提问于2021-04-15得票数 0
回答已采纳
我想遍历pyspark dataframe中的每一行，并根据另一列的内容更改列的值。我要将其更改为的值也基于要更改的列的当前值。具体地说，我有一列包含DenseVectors，另一列包含我需要的向量的索引。 或者，我也可以用DenseVector中两个值中较大的一个替换DenseVector。我主要尝试将F.when()与withColumn结合使用，但F.when()的第二个元素
浏览 11提问于2019-04-25得票数 2
回答已采纳
2回答
我有一个PySpark Dataframe，我想添加一个从其他列的多个值计算出来的列。l = [('Ankit',25),('Jalfaizy',22),('saurabh',20),('Bala',26
浏览 1提问于2019-11-29得票数 1
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 如何使用pyspark将date列中的行值转换为时间戳格式？ 我已经尝试了很多东西，但所有的代码都需要当前的格式，但如何转换为正确的时间戳，如果我不知道什么格式的csv文件。我也尝试过下面的代码，但这是在创建一个空值的新列 df1 = df.
浏览 16提问于2020-12-30得票数 2
嗨，我在Databricks中使用了3.0.1中的火花。我的pyspark df包含一个列年份，其值类似于2012，另一个列季度的编号为1,2,3和4。我想加入year_qtr并创建另一列2012 Quarter-1 &它应该包含类似于下面代码的2012 Quarter-1值col_listQuarter-','Quarter'
浏览 2提问于2021-01-27得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
