countDistinct - Spark中未找到值错误
countDistinct是一种在Spark中用于计算唯一值数量的函数。当在Spark中使用countDistinct函数时，有时会遇到"未找到值"的错误。
这个错误通常是由于以下原因之一引起的：
- 数据类型不匹配：countDistinct函数要求输入的列是数值型或字符串型，如果输入的列是其他类型（如日期型或布尔型），则会出现"未找到值"错误。在使用countDistinct函数之前，确保输入的列的数据类型是正确的。
- 列名错误："未找到值"错误也可能是由于输入的列名错误导致的。请确保输入的列名正确无误，并且与数据集中的列名一致。
- 数据集为空：如果数据集为空，即没有任何行可供计算，那么使用countDistinct函数时会出现"未找到值"错误。在使用countDistinct函数之前，确保数据集中至少有一行数据。
解决这个错误的方法包括：
- 检查数据类型：确保输入的列的数据类型与countDistinct函数要求的数据类型匹配。
- 检查列名：确保输入的列名正确无误，并且与数据集中的列名一致。
- 检查数据集：确保数据集中至少有一行数据可供计算。
腾讯云提供了一系列与Spark相关的产品和服务，可以帮助您进行云计算和大数据处理。其中包括腾讯云的云数据仓库CDW（Cloud Data Warehouse），它提供了高性能、可扩展的数据仓库解决方案，可用于存储和分析大规模数据。您可以通过以下链接了解更多关于腾讯云CDW的信息：腾讯云CDW产品介绍
请注意，本回答中没有提及亚马逊AWS、Azure、阿里云、华为云、天翼云、GoDaddy、Namecheap、Google等流行的云计算品牌商，以符合问题要求。
相关·内容
我在Apache Spark SQL中有一个DataFrame，我想删除所有not None值都相同的列。 所以在一个虚拟的例子中 df
| A | B | C |
1 2 3
NaN 2 4
1 2 NaN
1 2 5 我只想保留C列 df_filter
| C |
3
4
NaN
5 在Python中，我将通过以下方式完
浏览 25提问于2021-10-27得票数 2
回答已采纳
/Downloads/spark-3.0.1-bin-hadoop2.7/bin$ ./spark-shell
20/09/23 10:58:45 WARN Utils: Your hostname, byte-nihal resolves to a loopback address: 127.0.1.1; using 192.168.2.103 instead (on interface enp2s0)
20/09/23 10:58:45 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
20/09
浏览 2提问于2020-09-23得票数 2
回答已采纳
3回答
如何才能计算的每一列中的唯一元素数：
import pandas as pd
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = pd.DataFrame([[1, 100], [1, 200], [2, 300], [3, 100], [4, 100], [4, 300]], columns=['col1', 'col2'])
df_spark = spark.createDataFrame(df)
print(df_spark.show()
浏览 0提问于2018-12-13得票数 11
回答已采纳
1回答
我在有4个节点的dataproc集群上运行pyspark，每个节点有2个核心和8 GB RAM。我有一个dataframe，它有一个包含单词列表的列。我分解了这个专栏，并计算了出现次数- df.groupBy("exploded_col").count() 爆炸前约有78MN排。但是，运行上述代码的时间太长(超过4个小时)。为什么spark花了不寻常的长时间？我仍然是spark的新手，所以我还没有完全意识到适当的设置来处理巨大的数据。 我对sparkContext有以下设置 enter code here
SparkSession.builder \
.appName
浏览 132提问于2020-07-17得票数 1
我尝试使用countDistinct函数，根据的说法，它应该在Spark1.5中可用。但是，我得到了以下例外：
Exception in thread "main" org.apache.spark.sql.AnalysisException: undefined function countDistinct;
我发现在上，他们建议使用计数函数和不同的函数来获得countDistinct应该产生的相同结果
count(distinct <columnName>)
// Instead
countDistinct(<columnName>)
因为我动态地从
浏览 7提问于2015-11-03得票数 8
回答已采纳
我开始学习spark，在下面的快照中我得到了一个错误，请让我知道需要做的修改 附加了包含代码和错误信息的图像 ?
浏览 21提问于2021-08-25得票数 0
我有一个包含一百万行和560列的spark数据帧。我需要找到dataframe的每一列中唯一项的计数。我已经编写了以下代码来实现这一点，但它被卡住了，并且执行起来花费了太多的时间：
count_unique_items=[]
for j in range(len(cat_col)):
var=cat_col[j]
count_unique_items.append(data.select(var).distinct().rdd.map(lambda r:r[0]).count())
cat_col包含所有分类变量的列名
有什么方法可以优化这一点吗？
浏览 9提问于2016-11-29得票数 0
spark org.apache.spark.sql.functions.countDistinct的声明是：
def countDistinct(columnName: String, columnNames: String*): Column
def countDistinct(expr: Column, exprs: Column*): Column
声明接收变量参数，但首先使用单个字符串/列。所以我不能写这样的代码：
val id1sArr = id1.split(",").map(col(_))
df.agg(countDistinct(id1sArr: _*))
所
浏览 1提问于2018-11-28得票数 2
回答已采纳
我想用Spark SQL和DataFrame复制Pandas would函数。我有以下几点： %spark
import org.apache.spark.sql.functions.countDistinct
import org.apache.spark.sql.functions._
val df = spark.read
.format("csv")
.option("delimiter", ";")
.option("header", "true")
浏览 26提问于2021-11-05得票数 1
回答已采纳
1回答
多个动态聚合操作的星火数据聚集。
我想使用Scala进行多个动态聚合操作(由用户在JSON中传递)在Spark数据want上进行聚合。我正在将JSON转换为Map。
以下是一些样本数据：
colA colB colC colD
1 2 3 4
5 6 7 8
9 10 11 12
我正在使用的火花聚合代码：
var cols = ["colA","colB"]
var aggFuncMap = Map("colC"->
浏览 0提问于2019-04-11得票数 4
回答已采纳
类似的问题被问了几次，也回答了几次。例如：How to automatically drop constant columns in pyspark? 但我发现，没有一个答案解决了这个问题，即countDistinct()不将空值视为不同的值。因此，只有两个结果null和none NULL值的列也将被删除。 一个丑陋的解决方案是将spark dataframe中的所有null值替换为您确信在dataframe中其他地方不存在的值。但就像我说的那样那将是非常丑陋的。
浏览 23提问于2021-04-01得票数 1
回答已采纳
1回答
我有一个火花数据，我需要删除所有的常数列从我的数据。因为我不知道哪些列是常量，所以我不能手动取消选择常量列，也就是说，我需要一个自动过程。我很惊讶，我没有找到一个简单的解决方案的堆叠溢出。
示例：
import pandas as pd
import pyspark
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.appName("test").getOrCreate()
d = {'col1': [1, 2, 3, 4, 5],
'col2
浏览 4提问于2019-04-21得票数 3
回答已采纳
1回答
我尝试显示spark数据帧中几个不同列的不同计数，以及对第一列进行分组后的记录计数。
因此，如果我有col1、col2和col3，我想groupBy col1，然后显示col2的不同计数和col3的不同计数。然后，我想显示col1的相同groupBy之后的记录计数。最后，在一个agg语句中完成所有这些。有什么想法吗？
浏览 1提问于2018-05-04得票数 0
1回答
火花放电f.when输出计数
、、、、
我希望从我加入的两个表中按月获得注册用户总数和标识用户总数。见预期产出：
Month reg_users iden_users
Jan 300 600
Feb 250 500
Mar 100 200
但我有个错误：
当()缺少一个必需的位置参数：‘’时
所用代码：
#registered vs identified
dim_customers = (spark.table(f'nn_squad7_{country}.dim_customers')
.filter
浏览 2提问于2021-02-03得票数 0
回答已采纳
我有一个PySpark数据格式-
df1 = spark.createDataFrame([
("u1", 1),
("u1", 2),
("u2", 1),
("u2", 1),
("u2", 1),
("u3", 3),
],
['user_id', 'var1'])
print(df1.printSchema())
df1.show(truncate=False)
产出-
root
|-- us
浏览 2提问于2021-01-07得票数 0
回答已采纳
1回答
在Spark中的sql数据集上，有没有一种在group by之后近似计数的方法？或者更一般地说，在Spark中计数分组的最快方法是什么？
浏览 28提问于2020-04-06得票数 2
回答已采纳
我对pyspark上的CountDistinct有点问题。我有两个连接表，我想要显示这两个不同表的不同键值的数量。 input_table = spark.read.parquet(path + table_name1)
input_table2 = spark.read.parquet(path + table_name2)
impacted_columns = ctrl \
.where((F.col("tableName1") == table_name1) & (F.col("tableName2") == table_name2))
浏览 56提问于2021-10-07得票数 0
回答已采纳
面临以下问题：
提取结构失败，原因是:结构文件为空堆栈跟踪被抑制；运行“最后更新”对整个输出堆栈跟踪被抑制；运行完整输出(update) ssExtractDependencies:错误下载org.apache.火花:火花-核心:3.0.1未找到未找到:ssExtractDependencies未找到： (ssExtractDependencies) sbt.librarymanagement.ResolveException:错误下载org.apache.火花:火花-核心:3.0.1未找到未找到: C:\Users\admin.ivy2\localorg.apache.spark\spark
浏览 4提问于2021-09-14得票数 0
我有大约40 on的数据(大约80M条记录，仅2列，文本)，并对这些数据进行了不同的计数。我可以在AWS上的r5a.4xlarge实例上成功运行它。大约需要。3分钟后返回结果。但是，当我将实例更改为一个更大的实例r5a.12xlarge时，当我运行相同的代码时，我得到了"Too code Files“错误。我为spark会话尝试了几种不同的配置，都不起作用。此外，我将LINUX打开文件的限制增加到4096个，没有变化。下面是代码和错误的第一部分。 spark = (SparkSession
.builder
.appName('Project_name'
浏览 29提问于2020-04-21得票数 1
尝试使用聚合在Apache Spark (PySpark)中聚合我的数据帧。
+----+---+---+
|name|age| id|
+----+---+---+
|Mark| 4| 1|
|Mark| 4| 2|
|Mark| 5| 3|
|Mark| 5| 4|
|Mark| 5| 5|
|Mark| 6| 6|
|Mark| 8| 7|
+----+---+---+
我有以下代码，它为我提供了一行记录的不同计数：
old_table.groupby('name').agg(countDistinct('age'))
我尝试添
浏览 5提问于2017-02-10得票数 4
1回答
连接名称的值计数
、、
我想转换这个PySpark数据文件：
df = spark.createDataFrame([
("A", 1),
("A", 2),
("A", 3),
("B", 1),
("B", 2),
("B", 4),
("B", 5)
],
["name", "connect"]
)
df.show()
+----+-------+
|name|connect|
+----+-------+
| A|
浏览 0提问于2020-09-18得票数 1
回答已采纳
我下载了Geotrellis，并尝试按照上的说明进行操作
我把解析器和libraryDependency放入我的build.sbt文件中。
已安装:已安装Spark 2.1.1 Scala 2.11.12 Java 8 JRE和JDK。
环境：
Mac 10.14.4 Mojave
我尝试了以下方法来解决此问题，但未能解决此问题：
将Spark降级到版本2.1.1 (spark的参考版本)以前使用的2.3.3和2.4.3将Scala更新到版本2.11.12确保JRE和JDK中的Java版本为版本8验证Scala配置正确
已验证是否正确配置了Java
进入Geotrellis-master (截
浏览 3提问于2019-05-16得票数 0
1回答
删除常数列--非数值数据
、、、
我想在csv文件中删除常量列--我是这样做的，但是当数据类型是时间戳时(例如，数据类型不是数值的时候)，我想有什么帮助，这样就可以将源代码泛化为所有类型的输入。
val spark = SparkSession.builder.master("local").appName("my-spark-app").getOrCreate()
val df=spark.read.option("header", true).option("inferSchema", true).csv(strPath)
df.pr
浏览 0提问于2017-04-21得票数 2
回答已采纳
我有一个像这样的spark数据帧 event_name | id
---------------
hello | 1
hello | 2
hello | 1
world | 1
hello | 3
world | 2 我想根据唯一的id统计特定事件hello的数量。SQL应如下所示 SELECT event_name, COUNT(DISTINCT id) as count
FROM table_name
WHERE event_name="hello" event_name | count
------------
浏览 23提问于2020-10-22得票数 1
回答已采纳
1回答
我正在尝试通过spark mllib来测试信用卡欺诈检测数据集。我的数据集有许多0(表示非欺诈)，而1(表示欺诈)。我想知道，为了解决像上面这样的类不平衡问题，我们在spark中有没有像SMOTE这样的可用算法。我使用逻辑回归作为模型。
浏览 1提问于2017-10-16得票数 1
1回答
我有一个csv文件，目前作为一个数据存储在火花中。
scala> df
res11: org.apache.spark.sql.DataFrame = [2013-03-25 12:49:36.000: string, OES_PSI603_EC1: string, 250.3315__SI: string, 250.7027__SI: string, 251.0738__SI: string, 251.4448__SI: string, 251.8159__SI: string, 252.1869__SI: string, 252.5579__SIF: string, 252.928
浏览 3提问于2015-04-17得票数 3
回答已采纳
我正在尝试为Spark structured streaming中的Parentgroup，childgroup和MountingType组获取唯一的id。
代码:下面的代码抛出错误
.withWatermark("timestamp", "1 minutes")
val aggDF = JSONDF.groupBy("Parentgroup","childgroup","MountingType")
.agg(countDistinct("id"))
Err
浏览 2提问于2020-08-26得票数 1
我在几个地方读到，如果可能的话，应该避免包含洗牌阶段的转换，因为洗牌涉及到在节点之间通过网络发送数据，这会给程序带来很高的性能成本。
我在寻找一个星火转换列表，这些转换可能会导致对Spark的2.4+数据格式进行洗牌，而我想出的只是这个关于旧的RDD的。
浏览 1提问于2019-12-16得票数 0
回答已采纳
1回答
火星雨:在窗户上数清楚
、、、、
我只是尝试在窗口上执行一个countDistinct，并得到了以下错误：
AnalysisException:不支持u'Distinct函数:count(不同的color#1926)
有什么方法可以在火星雨的窗户上做一个清晰的计数吗？
下面是一些示例代码：
from pyspark.sql.window import Window
from pyspark.sql import functions as F
#function to calculate number of seconds from number of days
days = lambda i: i *
浏览 0提问于2017-08-24得票数 38
回答已采纳
我希望能够基于百分位数(或者更准确地说，在我的例子中是补充百分位数)进行聚合。
考虑以下代码：
from pyspark.sql import SparkSession
from pyspark.sql import functions as F
spark = SparkSession.builder.getOrCreate()
df = spark.createDataFrame(
[
['a', 1, 'w'],
['a', 1, 'y'],
['
浏览 22提问于2020-05-17得票数 0
回答已采纳
我有两张桌子的报告。第一个表是一个客户端列表，详细说明了每个客户端属于三个类别的客户端，每个客户端有不同的项。SQL将client_table与client_items表(每个客户端可以有多个项)连接起来，其结果如下所示：
Type ClientID ItemID
A 1 1
A 3 1
A 3 2
B 2 1
B 4 3
C 5 2
我的第二个表将从不同类型的组合中返回不同客户端is的计数：
浏览 7提问于2013-01-09得票数 17
回答已采纳
我在我的红帽64中安装了火花-hadoop env。我还想在spark源代码项目中读写intelliJ idea中的代码。我已经下载了星火源代码，并使一切就绪。但我在IntelliJ idea中编译spark项目时出现了一些错误。以下是一些错误：
/home/xuch/IdeaProjects/spark/sql/catalyst/src/main/scala/org/apache/spark/sql/catalyst/CatalystQI.scala
错误：(809，34)未找到:值SparkSqlParser case ast if ast.tokenType == SparlSqlPa
浏览 11提问于2016-02-25得票数 9
2回答
我想计算每个输入列的非缺失值pct_<original_name>_valid的百分比。在本例中，只有2列，所以很容易手动编写下面的代码。但是当有30+列时，我不想手动执行此操作。有没有可能动态地做到这一点？(例如，将列名列表作为输入) import pyspark.sql.functions as F
d = [{'name': 'Alice', 'age': 1}, {'name': 'Bae', 'age': None}]
df = spark.createDataFrame(
浏览 10提问于2019-06-19得票数 0
回答已采纳
1回答
我正在将以下json文件读入spark中的Dataframe中：
{"id" : "a", "country" : "uk", "date" : "2016-01-01"}
{"id" : "b", "country" : "uk", "date" : "2016-01-02"}
{"id" : "c", "country" : "fr",
浏览 1提问于2017-04-11得票数 1
回答已采纳
我尝试在Spark数据帧中按日期分组，并为每个组计算一列的唯一值：
test.json
{"name":"Yin", "address":1111111, "date":20151122045510}
{"name":"Yin", "address":1111111, "date":20151122045501}
{"name":"Yln", "address":1111111, "date":20151
浏览 1提问于2016-03-17得票数 28
回答已采纳
1回答
我有一个列id，它的类型是int，但后来更改为bigint。它具有这两种类型的值。 from pyspark.sql.functions import *
from pyspark.sql.types import *
df = spark.read.parquet('hdfs path')
df = df.select("id", "code")
df=df.withColumn("id1", df["id"].cast(LongType()))
res1=df.select("id1",
浏览 107提问于2021-01-11得票数 0
我正在安装拉拉火花下的窗户，安装通过作曲家。当我到达文档的compose update阶段时，会出现以下错误：
未能从dist下载laravel/spark：" RuntimeException未能执行git克隆-非结帐“& cd /D "C:\xampp\htdocs\blog\vendor\laravel\spark-aurelius”& git远程添加作曲家"“& git获取作曲家克隆到'C:\xampp\htdocs\blog\vendor\laravel\spark-aurelius'...中远程:未找到存储库。致命:
浏览 0提问于2018-05-28得票数 6
1回答
我是新来的报表生成器，并有问题的一些表达式，我试图实现在一个报告。但是，一旦我尝试了任何区别，我就会得到错误消息。在过去的几周里，我尝试了许多组合，阅读了表达式帮助，谷歌和查看其他问题在互联网上。为了减少我的挫折感，我甚至会跳到其他的表情，离开，希望我能有不同的洞察力回来。这可能是一些简单的事情，或者是一些我不知道的关于写表达的事情。我希望有人能帮助我完成这些表达式；它们是我得到的错误最少的版本(通常只是期望的表达式)，并展示我想要完成的任务。
=IIF((Fields!RECORDFLAG.Value)='D',COUNTDISTINCT(Fields!TICKETNUM.V
浏览 2提问于2017-04-07得票数 0
回答已采纳
1回答
我有两个案例类，如下案例类EmployeeDetails(id:Long，empName:String，dept:String)案例类SalDetails(salary:Long，dept:String)
并从中创建了两个数据帧，并计算了每个部门的平均工资
val spark = SparkSession
.builder
.appName("Emp")
.master("local[*]")
.getOrCreate()
import spark.implicits._
val empDetails=Seq(
EmployeeDetai
浏览 18提问于2021-05-28得票数 1
1回答
我有一个问题，在嵌套表的底部出现空格。仅当主表单元格行的内容包含垂直使单元格高度高于嵌套表中数据内容的数据时，才会发生这种情况。例如，当嵌套的表格单元格只有一个项目的链接时，描述字段会导致这种情况发生。我希望这是有意义的。请看附件中的截图。(屏幕截图是一些演示数据的一个非常粗糙的视图，因为我不能使用实际信息，但我对其进行了修改以显示相同的结果)。 有没有办法让嵌套的表格单元格垂直填满整个单元格，这样报表看起来很干净，底部不会出现空白？ ?
浏览 59提问于2021-04-01得票数 0
我有一个数据框架df = id : String，value: Int，type : String，time戳: java.sql.Date，我需要如下结果：
我的数据框架：
+----+-------++-------+------------------------+
| id | type | value | timestamp |
+----+-------+--------+------------------------+
| 1 | rent | 12 | 2016-09-19T00:00:00Z
| 1 | rent | 12
浏览 1提问于2016-09-29得票数 2
回答已采纳
在SSRS中，我有一个按学生id分组的表，其中包含一些基于学期的详细信息。报告的分组部分包括考试成绩等内容。也就是说，一个学生在某某考试中只有一个分数。用户想要一个摘要，显示“有多少学生在某某考试中取得了分数？”当我尝试对具有该列的值的行进行计数时，它会将计数乘以详细信息(semesters)的数量。
浏览 1提问于2019-04-30得票数 0
我在Scala2.11.8中使用Spark2.1.1。
在spark-shell中，我使用:load命令加载具有RDDs方法的类。
当我试图加载类时，我会得到以下编译错误：
错误:未找到:键入RDD
为什么？我拿到了进口单。
这是我正在处理的代码
浏览 2提问于2017-06-09得票数 3
回答已采纳
3回答
我有一个spark dataframe (12mx132)，我正在尝试按列计算唯一值的数量，并删除只有1个唯一值的列。
到目前为止，我已经像这样使用了pandas的pandas函数：
import pandas as pd
df = sql_dw.read_table(<table>)
df_p = df.toPandas()
nun = df_p.nunique(axis=0)
nundf = pd.DataFrame({'atr':nun.index, 'countU':nun.values})
dropped = []
for i, j
浏览 47提问于2019-11-09得票数 2
回答已采纳
edf.select("x").distinct.show()显示edf DataFrame的x列中的不同值。
是否有一种有效的方法也可以显示这些不同值在数据帧中发生的次数？(计算每个不同的值)
浏览 15提问于2016-06-21得票数 38
回答已采纳
从星火结构的流文档中，包含以下内容
不支持流数据集上的不同操作。
但是，API中有一个distinct()方法，我也可以在流DateSet之后调用distinct()。
public final class JavaStructuredNetworkWordDistinct {
public static void main(String[] args) throws Exception {
System.setProperty("hadoop.home.dir","C://hadoop" );
SparkSession spa
浏览 1提问于2022-04-15得票数 1
1回答
我将一些日常数据存储在Spark dataframe中，我将这些数据聚合在一起以获得计数。我是这样做的：
start = '2018-11-01'
end = '2021-02-19'
t1 = (
spark.table('schema.t1')
.where(sf.col('yyyy_mm_dd').between(start, end))
.select('yyyy_mm_dd', 'x_id', 'h_id', 'app', '
浏览 17提问于2021-02-19得票数 0
回答已采纳
在Spark中运行Hive查询时，使用Oozie版本4.1.0.3作为java操作，获取表未找到异常。
从hdfs路径复制hive-site.xml和hive-default.xml
workflow.xml使用：
<start to="scala_java"/>
<action name="scala_java">
<java>
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
浏览 1提问于2015-10-13得票数 3
1回答
我是新的spark Java API。我的数据集包含两列(account、Lib)。我想显示具有不同lib的帐户。实际上，我的数据集是这样的。ds1
+---------+------------+
| account| Lib |
+---------+------------+
| 222222 | bbbb |
| 222222 | bbbb |
| 222222 | bbbb |
| | |
| 333333 | aaaa
浏览 2提问于2018-06-01得票数 0
我在linux操作系统上有2.2.0版本的Spark。今天我使用spark-shell启动它，并一个接一个地输入以下代码：import org.apache.spark.rdd.RDD
val rootPath: String = _
val file: String = s"${rootPath}/mytext.txt"
val lineRDD: RDD[String] = spark.sparkContext.textFile(file)，并抛出以下错误：
错误:未找到:值spark
我该怎么做才能修复它呢？提前感谢
浏览 0提问于2021-09-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
