我一直收到错误“TypeError(”条件应该是字符串或列“)” 我已经尝试更改滤镜以使用col对象。尽管如此，它还是不起作用。path = 'dbfs:/FileStore/tables/TravelData.txt'from pyspark.sql.types importIntegerType(), True)df = spark.read.option("delimite
浏览 21提问于2019-02-02得票数 0
回答已采纳
1回答
我有一个PySpark数据帧，它有一个复杂的列，请参考下列值：1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}]
我想在PySpark dataframe中添加一个新列，它基本上将它转换为一个字符串列表。如果Label为null，则
浏览 0提问于2021-02-09得票数 0
1回答
我在Apache，Databricks上用PySpark编写代码。 very_large_dataframe 250 GB来自客户端的CSV文件，其中必须只有10列A、B、C、D、E、F、G、H、I、A、B包含字符串数据C、D、E、F、G、H、I、J，包含精度为5的小数，标度2(即125.75) A、B、C、D、E，不应为空F、G、H、I、J。是
浏览 6提问于2022-01-14得票数 0
回答已采纳
3回答
lambda r: str(r['target']).startswith('good')) 904 jdf = self.--> 906 raise TypeError(&
浏览 2提问于2016-10-06得票数 18
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame # like column.map(lambda x: __valid_date(x))
_spark函数
浏览 4提问于2021-11-19得票数 0
回答已采纳
描述：“如何用平均、按条件分组数据和按Pyspark中的模型列来填充价格列中缺失的值?((cars.groupBy("condition", "model").agg(mean("price"))['avg(price)']))错误：
ValueError:值应该是浮点、int、长、字符串、bool或dict。DataFrame
浏览 2提问于2021-12-01得票数 2
回答已采纳
1回答
动态填充中的列名
、、、
我正在开发一个动态脚本，它可以join任何给定的pyspark。问题是文件中的列名会发生变化&连接条件的数目可能会有所不同。我可以在一个循环中处理这个问题，但是我使用一个变量名执行连接，它失败了。(我的目的是根据文件结构和联接条件动态填充a和b或更多列)a="existingFile.Id"
unChangedRecords = existingFile.join(incrementalFile,(a==b)
浏览 2提问于2018-02-24得票数 0
回答已采纳
1回答
在1,000行长的数据部分中，如果cat列大于0，则kitten列应为1。在同一数据的另一个1,000行部分中，如果cat列小于0，则kitten列应为1。否则，kitten列应为0。我看过替换pandas dataframe对象的列和公式的建议，但我在文档或这里的帖子中看不到如何将条件函数应用于列。 我还避免替换数据中的整个行部分。我只想将此公式应用于一
浏览 26提问于2019-05-31得票数 0
回答已采纳
1回答
我的data.csv文件有三列，如下所示。我已经将这个文件转换为python spark dataframe。A B C| 2 | 0 | 5 |我想在spark dataframe中添加另一列D，值为Yes或No，条件是如果B列中的相应值大于A B C D| 2 | 0 | 5 | No |
| 6 | 6 | 6 | Yes |
浏览 0提问于2019-02-23得票数 3
回答已采纳
1回答
我想在我的dataframe中创建一个新的布尔列，它的值来自对同一dataframe中其他列的两个条件语句的计算：
columns = ["id", "color_one", "color_two"]在这种情况下，对于该行，is_red也被设置为NULL，而不是true或false。正在计算条件语句的所有子句，而不是提前退出(通过)，如果第一个条件恰好是真的(如上面示例中的第2行)。P
浏览 7提问于2021-07-14得票数 2
回答已采纳
4回答
我创建了一个具有以下模式的dataframe：root |-- review_count: integer (nullable = true)我只想选择记录与“打开”列是我在PySpark中运行的以下命令没有返回任何内容：
yelp_df.filter(yelp_df["open"] ==
浏览 5提问于2016-04-22得票数 12
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。不幸的是，对需求的更改意味着代码在任何情况下都不能使用pandas udf
浏览 7提问于2021-03-15得票数 0
回答已采纳
1回答
下面是我正在使用的示例代码集，并且在调用函数时出错：from pyspark.sql import SparkSession@pandas_udf("Count int") return v
浏览 4提问于2020-11-26得票数 1
回答已采纳
1回答
嗨，我开始使用Pyspark了，我想在下面添加一个时间和其他条件：
df_1 = df.withColumn("test", when(df.first_name == df2.firstname &df.first_name和df.last_name都是字符串，也是df2.name和df2.lastname字符串。错误: ValueError:无法将列转换为bool:在构建DataFrame布尔表达式时，请使用'&‘for 'an
浏览 11提问于2022-11-10得票数 0
回答已采纳
以下pyspark命令 df = dataFrame.groupBy("URL_short").count().select("URL_short", col("count").alias("NumOfReqsdataFrame中，我有一个名为success的列，其类型为text。该值可以是"true"或"false"。 在结果中，我希望有一个额外的列，例如，NumOfSucce
浏览 19提问于2018-12-18得票数 1
回答已采纳
2回答
选择具有更多数据的列
、、、、
我必须使用PySpark从包含更多数据或值的两个列中选择一个列，并将其保存在DataFrame中。
例如，列B有更多的值，因此我将将其保存在DF中以进行转换。我认为我们可以使用if else条件来完成这个任务，但是我无法得到正确的逻辑。
浏览 1提问于2022-10-02得票数 0
回答已采纳
1回答
在下面的代码中，数据文件的所有列都是字符串。其中一列用一个小数位存储整数或小数(6.1,4.8,3,9.4,6，...etc.)。但是，一旦将数据加载到pyspark dataframe中，它也会显示带有单个小数位(例如3.0)的整数。from pyspark.sq
浏览 7提问于2022-05-21得票数 0
如果想要在我的dataframe中添加一个列来标记一个条件是否满足，但是我不知道如何解决这个问题。假设在dataframe上，我们有同名的学生，但是我只想在他们的成绩超过5的时候才给他们打分，而忽略那些5年级以下的学生。就像这样：
我可以使用Pandas或Pyspark作为库。
浏览 5提问于2022-07-27得票数 0
回答已采纳
考虑以下pyspark中的dataframe：| Col A|| [0.5, 0.6]| | [1.1, 1.5]| A列的类型是向量，如何创建一个值为A列但类型为数组或字符串的新列？
浏览 1提问于2020-03-04得票数 1
我们怎么才能用
浏览 7提问于2022-06-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
