values2|| aaaaaa| 249| null我想到了下面的一些东西，但它不起作用：我找到了这个方法来解决它，但应该有更明确的未来： if b: else:
浏览 26提问于2016-09-06得票数 3
2回答
我使用的是pyspark 3.1.1和python 3.8{"id" :1, "field_a": "test"}{"id" :3, "field_a": "test", "field_b": null
浏览 3提问于2022-07-11得票数 1
回答已采纳
有这样一条线： .config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
.config("spark.sql.catalog.spark_catalog", "org.apac
浏览 7提问于2022-06-01得票数 0
回答已采纳
1回答
在PySpark中创建类的
、、、、
data.contains("null") .map(data => parseStock(data, stockName))可以在PySpark中实现这一点吗？= header).map(lambda data : parseStock(data, stockName))调用z:org.apache.spark.api.python.PythonRDD.collectAndServe中丢失的任务0.0 (TID 31，本地主机，执行器驱动程序)：
浏览 1提问于2020-06-03得票数 1
回答已采纳
() # Alternative conversion option
2781 )
/databricks/spark/python/
浏览 3提问于2021-10-25得票数 1
我有一个带有id和更多列的spark数据框。Id永远不能为null，但是其他列中可能有null。输入数据帧为|1| |1| |2||null| |3| |null|
我想要捕获所有列，其中我们有null
浏览 0提问于2020-09-18得票数 1
Caused by: java.lang.UnsupportedOperationException: Schema for type org.apache.spark.sql.Column is notval defaultUDF: UserDefinedFunction = udf[Column, Column, Any](defaultFunction)
浏览 11提问于2020-03-13得票数 0
回答已采纳
名单-[u'expect_column_to_exist', u'expect_column_values_to_not_be_null', u'expect_column_values_to_be_of_type_createFromLocal(map(prepare, data), schema)
File "/usr/lib/spark/pyt
浏览 12提问于2022-02-28得票数 1
回答已采纳
Spark2.4引入了涉及数组的新的有用的Spark SQL函数，但当我发现：select array_remove(array(1, 2, 3, null, 3), null)的结果是null而不是是否可以使用array_remove删除空值 顺便说一句，目前我使用的替代方法是databricks中的高阶函数： select filter(array(1, 2, 3, null, 3), x ->x is not null)
浏览 55提问于2019-01-12得票数 18
回答已采纳
1回答
在Spark 2.40Scala中，将以下转换应用于dataframe中的列的最佳方式是什么？我正在尝试udf或正则表达式替换，但无法达到预期结果。 下例中的column_1是一个字符串。数据帧输入： column_1#;#;#; 期望的结果 column_1null#;null#;null在本例中，我先用逗号替换，然
浏览 38提问于2021-08-06得票数 0
回答已采纳
我是spark SQL的新手，
在MS SQL中，我们保留了关键字LEFT(Columnname,1) in('D','A') then 1 else 0。如何在SPARK SQL中实现同样的功能。
浏览 12提问于2016-10-20得票数 9
假设我们有四列: Column1，Column2，Column3，ind
'Column1':['Spark',10000,'Python','35days'], &
浏览 4提问于2022-05-20得票数 1
回答已采纳
目前，我们有一些解决方案，所有这些解决方案似乎都在同一个集群上产生了大约相同的运行时间，其中大约有1TB的数据存储在Parquet中：import org.apache.spark.sql.types._import org.json4s.jackson.JsonMethods._
def jsonToMap(s: String, map: Map[String, St
浏览 0提问于2018-10-23得票数 7
回答已采纳
2回答
StructField("readings", StringType(), True)\我想做的是删除列，它有80%以上的NaN, NULL or 0值？我试过像下面这样的东西，但不起作用
spark_df = spark_df.dr
浏览 2提问于2019-10-29得票数 3
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
1回答
如何在Spark/Scala中做到这一点？
注意:我知道如何在Python中这样做，例如，首先为每个唯一值构建一个基于频繁的字典，然后通过逐个检查值来创建OHE向量，将不常见的值放在“默认”列中。
浏览 0提问于2020-02-15得票数 0
我想创建一个时间戳列，以便从分别包含月和年的两个列创建折线图。df看起来像这样:我知道我可以创建一个字符串连接，然后将它转换为一个日期时间列： df.select('*', concat('01', df['month'], df['year']).alias('date')).withColumn("date",
浏览 21提问于2019-09-21得票数 0
1回答
在python中，In !=1将返回True。但是为什么在Null_column中!= 1会返回false呢？示例：columns=["id","test"]df_null =df_null.withColumn("nul_val",lit(None))
df_null<
浏览 4提问于2022-05-19得票数 0
2回答
, in wrapper File "/usr/lib/spark/python/pyspark/sql/functions.py", linespark/python/pyspark/sql/column.py", line 60, in _to_seq
cols = [converter(c) for
浏览 3提问于2018-10-29得票数 4
回答已采纳
/python/pyspark/sql/column.py in isin(self, *cols)
/opt/cloudera/parcels/CDH-7.1.3-1.cdh7.1.3.p0.4992530/lib/spark/pyt
浏览 8提问于2022-07-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
