当我添加多个列时，它会抛出错误，我们正在尝试Spark DataFrame selectExpr及其为一列工作。 df1.selectExpr("coalesce(gtr_pd_am,0 )").show(2) File "/usr/h
浏览 3提问于2018-08-20得票数 0
回答已采纳
1回答
大家好，我在scala上读到了一个Json，下面是一个数据帧： "key": { }, "data": { { "bool": true ]}[
浏览 0提问于2020-07-08得票数 0
下面的代码 builder = SparkSession.builder\spark = builder.getOrCreate()
df = spark \ .["kafka"]["boots
浏览 24提问于2021-04-06得票数 0
这是Spark中常见的错误，我尝试了所有其他的答案，但没有区别！我想从HDFS (甚至是本地文件系统)中读取以下小CSV文件。Collections.addAll(cols, "id, first_name".replaceAll("\\s+", "").split(",")); .format("org.apache.spark.csv&qu
浏览 1提问于2018-06-11得票数 1
回答已采纳
scala> spark.range(1).printSchema |-- id: long (nullable = false)
root
在玩selectExpr时(在今天的主版的selectExpr中)，我注意到模式更改为包含每次启动spark-shell时，我都可以通
浏览 8提问于2017-03-27得票数 4
数据帧生成脚本： val preferredOutputDF =spark.sql("select 'abcd*1234efgh' as test_column")
目标:我正在尝试构建一个RegEx搜索，在replace的输出位置，它只会在找到的字符串中插入一个字符regexp_replace(test_column,'[d][0-9
浏览 6提问于2019-07-25得票数 0
回答已采纳
public static void main(String[] args) throws Exception { .getOrCreate(); SparkContext context = spark.sparkContext();
D
浏览 0提问于2018-11-23得票数 2
对于星火数据框架，假设我有一个类型为double或int的列，并且我希望对它应用一个标量操作。如果该操作是可交换的(如加法)，则可以执行以下操作：但是，如果操作不是交换的(如除法)，该怎么办？df.withColumn("RESULT", df("col") / 10)df.withColumn("RESULT", 10 / df("col"))
提供原始sql将有效，但
浏览 4提问于2016-02-23得票数 0
回答已采纳
Lorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;, boolean, boolean); line 4 pos 29 当我尝试在Spark配置单元版本: 3.1.2 Spark版本: 3.0.0 如果有人在Spark 3.0.0中注册Hive UDAF时有一个适用于他们的简单代码片段，那也会非常有用
浏览 108提问于2020-09-16得票数 1
回答已采纳
1回答
我们也可以在数据文件上使用对selectExpr方法的多次调用来做同样的事情。#Method 1df = df.selectExpr("*","sum(amt) over (partitionby account) as acc_sum")
df = df.s
浏览 1提问于2018-02-02得票数 1
回答已采纳
我有一个数据框，我想在其中为数据集中的组添加唯一in id | zip | name | quot 2 | 30000 | abc | 10 4 | 50000 | res | 20 6 | 60000 | dei | 20
7 | 60000 | dei | 20 我想为数据集中的每个压缩文件生成一个通用的UUID，这样它看起来就像 id | zip | name
浏览 9提问于2019-12-14得票数 1
，为了做到这一点，你必须spark.sqlContext.udf.register
浏览 40提问于2017-04-19得票数 7
回答已采纳
尝试根据case类重命名现有列，case类是一个JSON文件。 例如： // Case class mapped to the JSON config renameCol:Option[String], )val newOb = List(ObjMappin
浏览 28提问于2020-06-23得票数 0
回答已采纳
我在Java中尝试了一下： Dataset<Row> df1 = spark.read() .load("mysource_path");
Row[] rows = df1.selectExpr("sum(distance) as total").take(1); 然后编译器会说： error: incompatibletypes: Object cannot be converted to
浏览 17提问于2021-10-22得票数 0
pyspark.context import SparkContextspark我也试过在下面， .read \ .option("kafka.bootstrap.servers", "localhost:9092") \
.option("subscribe", &qu
浏览 1提问于2020-06-12得票数 1
在一个应用程序中可以有两个独立的ReadStreams吗？我试着听两个不同的卡夫卡主题，并根据两个DataFrames进行计算。
浏览 1提问于2018-04-08得票数 1
// Throws AnalysisException as mentioned below
org.apache.spark.sql.AnalysisException/100,sum("bal2")/100' given input columns name, bal1, bal2;val sqlContext = new org.apache.spark.sql.SQLCont
浏览 2提问于2016-06-10得票数 0
我想用df1看起来像下面这样的方式在pyspark中连接两个数据帧： +-----------+-------------------+-----------------+ +-----------+-------------------+-----------------+| 2| 2019-01
浏览 30提问于2019-04-25得票数 1
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号