我对Pyspark还是个新手。我有一个数据框架，我想用col1和col2之间的均方根计算创建第三列。我使用了一个用户定义的lambda函数来计算均方根值，但是一直收到这个错误AttributeError: 'int' object has no attribute 'mean' from pyspark.sql.functions import udf,col
from pyspark.sql.types import IntegerType
from pyspark import SparkContext
from pyspark.sql import Sp
浏览 39提问于2020-04-11得票数 0
回答已采纳
3回答
我使用取自另一篇SO post的公式来计算pyspark中列的中位数：
columns = ['id', 'dogs', 'cats']
vals = [(1, 2, 0),(2, 0, 1)]
df = sqlContext.createDataFrame(vals, columns)
df.approxQuantile(list(c for c in df.columns), [0.5], 0)
当df中有奇数行时，该公式有效，但如果行数为偶数，则不取中心元素之间的平均值(我的意思当然是排序后)，而只取第一个元素的平均值。
例如，上述代码的结
浏览 0提问于2019-01-28得票数 2
我正在尝试对包含空值的列的数据帧使用sparkML库的standardScaler。我想保留NULL值，但是当我使用带有mean的标准缩放器时，具有NULL值的列的平均值也变成了null。有没有办法让标准的定标器跳过均值计算的空值(就像向量汇编程序中的handleInvalid选项)？ 下面是代码示例 from pyspark.sql import SparkSession
import pyspark.sql.functions as F
sqlContext = SparkSession.builder.appName('test').config("spark.
浏览 37提问于2021-06-24得票数 2
回答已采纳
2回答
我有一个大约有十亿行的PySpark数据帧。我想要取每2000个值的平均值，比如指数为0-1999的行数的平均值，指数为2000-3999的行数的平均值，等等。我该怎么做呢？或者，我也可以为每2000个平均值取10个值，比如指数为0-9的行数的平均值，指数为2000-2009的行数的平均值，等等。这样做的目的是对数据进行下采样。我目前没有索引行，所以如果我需要它，我该怎么做呢？
浏览 12提问于2018-03-15得票数 1
1回答
我试图在GroupedData 2中计算PySpark对象的方差，而在中，我没有看到任何用于计算方差的内置函数。
是否有一种有效的方法来计算GroupedData对象在PySpark2中的方差？
下面是示例代码，说明如何计算GroupedData对象的平均值、最小值和最大值，但我不确定如何计算方差：
from pyspark.sql import *
from pyspark.sql.session import SparkSession
spark = SparkSession.builder.getOrCreate()
columns = ['a', 'b
浏览 3提问于2017-10-21得票数 0
回答已采纳
我使用<input type="text" name="username">创建了一个输入框，用于用户输入username，然后将长度固定为5进行一些计算。
<input type="text" name="username" maxlength="5">。但是，当我将输入作为静态文本时，它将接受任意数量的字符。
将最大长度设置为5意味着输入框只能容纳5个字母，那么为什么在这样的情况下它会容纳5个以上的字母呢？
<input type="text" name="
浏览 2提问于2014-08-21得票数 2
回答已采纳
通常，当我必须进行聚合时，我使用类似于PySpark中的以下代码：
import pyspark.sql.functions as f
df_aggregate = df.groupBy('id')\
.agg(f.mean('value_col').alias('value_col_mean'))
现在，我实际上想要计算dataframe df的多个子集上的平均值(例如，在不同的时间窗口上，例如去年的平均值，过去两年的平均值，等等)。我知道我可以对每个子集执行df.filter(f.col(filter_co
浏览 4提问于2021-03-18得票数 1
回答已采纳
1回答
我使用以下代码来计算数据帧中所有行的几何平均值：
from pyspark.sql.functions import rand, randn, sqrt
df = sqlContext.range(0, 10)
df = df.select(rand(seed=10).alias("c1"), randn(seed=27).alias("c2"))
df.show()
newdf = df.withColumn('total', sqrt(sum(df[col] for col in df.columns)))
newdf.show(
浏览 15提问于2017-02-23得票数 1
回答已采纳
1回答
我对角度很陌生，对于需要在这个非常简单的中使用来查看我的选择变化感到困惑。如果删除$watch，则不会触发警报。当我选择某些内容时，selection不应该被自动绑定，然后更改事件应该触发摘要和自动监视吗？
浏览 0提问于2014-02-08得票数 0
回答已采纳
我的原始数据是表格格式的。它包含来自不同变量的观察结果。每个观察的变量名称，时间戳和值在当时。
变量字符串，时间日期时间，值浮动
数据在HDFS中存储为Parquet，并加载到(df)中。从那张数据。
现在我要计算每个变量的默认统计数据，如平均值、标准差和其他统计数据。之后，在检索完平均值之后，我希望筛选/计数与平均值密切相关的变量的值。
因此，我需要首先得到每个变量的平均值。这就是为什么我使用GroupBy来获取每个变量的统计信息(而不是整个数据集)。
df_stats = df.groupBy(df.Variable).agg( \
count(df.Variable).a
浏览 5提问于2016-07-06得票数 7
回答已采纳
所以我一直在努力想办法解决这个问题。我对R还是很陌生的，还没有找到解决方案。
我有一个data.frame，它看起来像这样：
LandAverageTemperature LandAverageTemperatureUncertainty date year
1 3.0340000000000003 3.574 1750-01-01 1750
2 3.083 3.702 1750-02-01 1750
3
浏览 0提问于2017-06-24得票数 0
回答已采纳
假设我有以下DataFrame
[Row(user='bob', values=[0.5, 0.3, 0.2]),
Row(user='bob', values=[0.1, 0.3, 0.6]),
Row(user='bob', values=[0.8, 0.1, 0.1])]
我想要groupBy user，并做一些类似avg(values)的事情，其中对数组values的每个索引取平均值，如下所示：
[Row(user='bob', avgerages=[0.466667, 0.233333, 0.3])]
我如何在PySpa
浏览 0提问于2016-08-17得票数 4
回答已采纳
我正在用C语言编写一个内尔德-米德优化例程，其中包括取两个float的平均值。在罕见(但完全可重现)的情况下，两个float，例如x和y，只有最低有效位的差异。取平均值时，舍入误差表示结果为x或y。
我想指定四舍五入应该总是朝向第二个float。也就是说，我不能简单地指定舍入应该接近零或无穷大，因为我事先不知道x是否会大于y。
(如何)我可以这样做吗？
浏览 4提问于2012-01-18得票数 5
回答已采纳
我试图在我的数据框架中标准化(平均值= 0，std = 1)一列(“年龄”)。下面是我在Spark (Python)中的代码：
from pyspark.ml.feature import StandardScaler
from pyspark.ml.feature import VectorAssembler
from pyspark.ml import Pipeline
# Make my 'age' column an assembler type:
age_assembler = VectorAssembler(inputCols= ['age'],
浏览 4提问于2017-12-03得票数 6
回答已采纳
我结合使用withColumn和UDF来获取一个新列，然后选择两个列并将其分配给一个新的df。但是当我在这个新的df上运行TypeError()时，它给我的结果是：'NoneType‘对象是不可订阅的。show()运行得很好。我正在尝试获得新的df的长度。下面是我的代码： # Find all entities with names that are palindromes
# (name reads the same way forward and reverse, e.g. madam):
# print the count and show() the resulting S
浏览 26提问于2021-04-06得票数 0
回答已采纳
2回答
多列平均
、
我对cognos比较陌生，所以请记住这一点。
我想在report中创建一个报告，其中我有3种度量( A、B、C )作为列，第3列计算出的列作为这些列的平均值。
但是，当使用平均函数时，我不能添加多个输入。
我尝试了算术替代( a+b+c)/3，因为这不会处理值为null的情况。
提前谢谢你
浏览 0提问于2016-01-20得票数 0
基本上，我有一个表，每一行都有一个文本输入和一个复选框，复选框为输入分配一个默认值。我遇到的问题是，我想要一个复选框来检查所有的复选框，而且我已经完成了，但是它没有在ngChange中计算表达式。
这就是我所拥有的：
1) Controller.js:
$scope.formData = {};
$scope.def_income = [];
$scope.master = false;
$scope.formData.income = [{ from:"", to:"", income:"" }]
$scope.addSal = functio
浏览 2提问于2013-09-01得票数 2
回答已采纳
2回答
我正在尝试将我的column2键值对中的RDD值从字符串转换为整数，以便能够将它们相加并计算平均值。
我试图让第2列在映射阶段自动显示为整数，但收到错误消息，“TypeError：'type‘对象没有’getitem‘属性”
textfile = sc.textFile("hdfs://...csv")
test = textfile.map(lambda x: (x.split(",")[1], x.split(",")(int[2]))
在PySpark column2中将RDD值转换/映射为整数的正确方法是什么？
浏览 0提问于2017-12-02得票数 0
1回答
我有一个10分钟间隔的pyspark数据帧，我如何在一个分类特征和2小时的时间内聚合它，然后计算其他两个特征的平均值和第三个特征的第一个值
我的示例数据在pyspark中如下所示。我想在'ind‘和'date’的2小时时间进行分组，然后计算'sal‘的平均值和'imp’的第一个值。
from pyspark import SparkContext
from pyspark.sql import SQLContext
sc = SparkContext.getOrCreate()
sqlContext = SQLContext(sc)
a = sqlCont
浏览 21提问于2020-05-10得票数 0
回答已采纳
1回答
我有一个pyspark dataframe，它有一个列，其中包含如下列表： | value |
|:---- |
| ["1", "23", "18", "9"] |
| ["62", "47", "6"] |
|["34", "61", "5"]. | 有没有一种方法可以用pyspark计算总体的平均值？因此，我希望具有以下值: 2
浏览 90提问于2020-12-19得票数 1
回答已采纳
我的PySpark数据帧中有四列： 'drivers','cars','topSpeeds','dates' 假设每个司机在不同的日期用不同的汽车达到了不同的最高速度，不同的汽车在不同的日期用不同的司机达到了不同的最高速度。 我可以将每辆车的司机在所有日期的最高速度的平均值如下： df.groupBy("drivers").mean() 我认为这在没有指定按topSpeed求平均值的情况下是有效的，因为topSpeed是唯一具有数值的列。 类似地，我可以得到每个司机在所有日期的汽车最高速度的平均值： df.gr
浏览 9提问于2019-02-20得票数 0
回答已采纳
1回答
当我尝试执行此聚合时，内存将会耗尽。它工作得很好，但在一小部分数据上速度非常慢。我在pySpark中运行它。有没有另一种方法可以根据特定的组计算列的平均值，这样运行起来会更好？
df = df.groupBy("id", "timestamp").avg("accel_lat", "accel_long", "accel_vert")
浏览 7提问于2016-08-24得票数 0
3回答
我使用下面的代码来计算属性的平均值
from pyspark.sql import functions as F
from pyspark.sql.functions import mean
result = df.select([mean("Age")])
result.show()
我得到的输出是56.4567，我需要把它转换成一个整数
浏览 0提问于2020-05-28得票数 0
我有一个JSON文件，结构如下：
{"time":3,"points":6}
{"time":3,"points":2}
{"time":5,"points":1}
我正尝试用火花放电按时间分组，然后找出返回点的平均值：
[(3, 4),
(5, 1)]
设置如下：
import json
from pyspark import SparkContext
sc = SparkContext.getOrCreate()
dataset_json = sc.textFile("datafil
浏览 14提问于2022-07-15得票数 0
回答已采纳
我正在尝试在SPARK集群上运行Python脚本，下面出现错误
File "create_csv_ecs.py", line 15, in <module>
sc = SparkContext(conf=conf)
File "/opt/disk1/spark-2.3.0-bin-without-hadoop/python/lib/pyspark.zip/pyspark/context.py", line 115, in __init__
File "/opt/disk1/spark-2.3.0-bin-without-hadoop/
浏览 2提问于2019-11-22得票数 1
1回答
我有一个pyspark数据帧： date | cust | amount | is_delinquent
---------------------------------------
1/1/20 | A | 5 | 0
13/1/20 | A | 1 | 0
15/1/20 | A | 3 | 1
19/1/20 | A | 4 | 0
20/1/20 | A | 4 | 1
27/1/20 | A | 2
浏览 8提问于2021-02-01得票数 1
回答已采纳
我让Dropdown.vue和Sprint.vue使用Dropdown.vue
Dropdown.vue代码
<template>
<div>
<select
v-model="selected"
@input="$emit('input', $event.target.value)"
@change="emitChangeEvent"
>
<option
v-for="(option, idx)
浏览 23提问于2020-02-08得票数 0
假设我有一个大的数据集，下面是它的缩写部分
Status,column1,column2,column3,column4
Healthy,4.5044,0.7443,6.34,1.9052
Patient,4.4284,0.9073,5.6433,1.6232
Patient,4.5291,1.0199,6.113,1.0565
Healthy,5.2258,0.6125,7.9504,0.1547
Healthy,4.8834,0.5786,5.6021,0.5942
Patient,5.7422,0.8862,5.1013,0.9402
Healthy,6.5076,0.5438,7.15
浏览 7提问于2022-01-15得票数 0
我正在尝试做一些与这个post 非常相似的事情，但是我需要使用pyspark，并且我希望根据不同的ID创建两个列。
本质上，我试图用两个新闻列(每个列都包含它们的配对ID的平均值)来附加我原来的pyspark。
下面可以找到初始df和输出df的示例：
浏览 8提问于2022-03-18得票数 0
1回答
我正在在线监视数百个用户的活动，并试图获得最后5行的平均记录(忽略中间缺少的日期)。我使用Window.partitionBy在用户和rowsBetween之间进行分区，以获得最后5条记录，但不是为后面的每一行提供最后5条记录的平均值，而是将所有其他行都包含到平均值中。
这就是我尝试过的：
from pyspark.sql import functions as f
from pyspark.sql.window import Window
win = Window.partitionBy('user_id').orderBy(f.col('record_date&#
浏览 1提问于2021-02-23得票数 1
回答已采纳
我正在学习PySpark。我一直试图通过“性别”(男性('M')，女性(‘F’))在键/值RDD中使用reduceByKey()转换来获得平均体重。
我使用的代码是：
“”“
def get_mean(*args):
return np.sum(args)/len(args)
mean_weight = sc.textFile('rio_2016.csv')\
.map(lambda x: x.split(','))\
.filter(lambda x: not x[0].startswith('*'))
浏览 0提问于2021-08-04得票数 0
1回答
我是pyspark的新手，正在尝试重新创建我用python编写的代码。我正在尝试创建一个新的数据框架，其中包含旧数据框架中每60个观察值的平均值。下面是我用旧的python实现的代码：
new_df=old_df.groupby(old_df.index // 60).mean()
我正在为如何使用pyspark在databricks中做同样的事情而苦苦挣扎。
浏览 5提问于2018-08-29得票数 2
1回答
root
|-- cores: long (nullable = true)
|-- time0: double (nullable = true)
|-- time1: double (nullable = true)
|-- time2: double (nullable = true)
+-----+------------------+------------------+-----------------+
|cores|time0 |time1 |time2 |
+-----+------------
浏览 13提问于2021-04-30得票数 1
回答已采纳
我正在学习斯威夫特，在我的一个模型课上我面临着一个问题。我想要做的是拥有一个延迟加载的属性，当它基于更改的数据时，该属性可以被“失效”。(就像这样：)
我现在的情况是这样的：
class DataSet {
var entries: [Entry]
var average: Double? {
return self.entries.average
}
}
Array<Entry>.average计算Entry属性的平均值，但如果数组为空，则返回零。
由于计算这个平均值的代价可能很大，所以我希望懒散地存储它的缓存值，并且只在必要时(当Dat
浏览 4提问于2016-06-30得票数 2
回答已采纳
我的选择是这样的
<select ng-model="id_select" ng-options="fide.id as fide.name for fide in fides" ng-change="loadInfo()">
<option value="" selected disabled>Seleccionar</option>
</select>
在我的控制器里我有这个
RestService.getFides().then(function(fides){
浏览 4提问于2014-07-05得票数 3
回答已采纳
我已经安装了pyspark，但没有单独安装任何hadoop或spark版本。
显然，在Windows下，pyspark需要访问Hadoop的winutils.exe来做一些事情(例如，将文件写入磁盘)。当pyspark想要访问winutilis.exe时，它会在HADOOP_HOME环境变量(用户变量)指定的文件夹的bin目录中查找它。因此，我将winutils.exe复制到pyspark (.\site-packages\pyspark\bin)的bin目录中，并将HADOOP_HOME指定为.\site-packages\pyspark\。这解决了获取错误消息的问题：Failed to l
浏览 4提问于2020-03-24得票数 1
我正在处理一个数据框，类似于：
from pyspark.mllib.linalg import Vectors
from pyspark.ml.feature import VectorAssembler
from pyspark.sql.types import *
schema = StructType([
StructField("ClientId", IntegerType(), True),
StructField("m_ant21", IntegerType(), True),
StructField("m_a
浏览 21提问于2017-07-18得票数 2
回答已采纳
1回答
我想知道如何用均值替换异常值。我有了dataframe，我可以找到离群值并过滤行，现在我想用平均值替换它。我该怎么做呢？ df类似于： a b
1 27 0
2 10 1
3 80 2
4 21 3
5 46 4
6 100 5 在找到IQR后，我得到的异常值如下所示： Upper = 75
lower = 12
outliers = df.filter((df['a'] > upper) | (df['a'] < lower))
2
浏览 24提问于2021-03-29得票数 0
回答已采纳
1回答
我正在计算PySpark DataFrame中嵌套数据products的平均值和标准差。
+----------+--------------------------------+
|product_PK| products|
+----------+--------------------------------+
| 686 | [[686,520.70],[645,2]]|
| 685 |[[685,45.556],[678,23],[655,21]]|
| 693 |
浏览 11提问于2017-12-28得票数 0
回答已采纳
有一些方法，如pyspark.sql.functions.least或pyspark.sql.functions.greatest，但我看不到任何平均值/stddev/sum等.
我以为我可以把DF转一下，但是它占用了太多的内存：data.groupby("date").pivot("date").min()
因此，我实现了以下功能：
def null_to_zero(*columns):
return [(f.when(~f.isnull(c), f.col(c)).otherwise(0)) for c in columns]
def row_m
浏览 4提问于2022-09-15得票数 0
我正尝试在spark cluster (v2.0)上远程使用jupyter-notebook (v4.2.2)，但当我运行以下命令时，它不会在spark上运行，而只在本地运行：
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port=7777" pyspark --master spark://**spark_master_hostname**:7077
当我单独使用相同的--master argument运行pyspark时，spark集群的进程在"R
浏览 5提问于2016-09-16得票数 8
2回答
我以编程的方式创建新的Excel工作表，并添加一个公式，计算特定单元格中某个值范围的平均值。但是，当我打开这个新创建的工作表时，当我按1输入值时，我不会自动看到平均值的显示，我必须双击包含平均公式的单元格来显示它的值，如何解决这个问题？
浏览 0提问于2015-05-13得票数 0
回答已采纳
1回答
在PySpark的重采样操作中，我遇到了问题。我的数据是：
df_upsampled.show()
+-------------------+------------------+
| et| average|
+-------------------+------------------+
|2018-08-15 00:10:00| 4.165999948978424|
|2018-08-15 00:15:00| null|
|2018
浏览 0提问于2018-09-10得票数 0
回答已采纳
2回答
我有一个PySpark Dataframe，其中一个列(比如B)是一个数组。以下是PySpark数据文件：
+---+-----------------------------+---+
|A |B |C |
+---+-----------------------------+---+
|a |[[5.0], [25.0, 25.0], [40.0]]|c |
|a |[[5.0], [20.0, 80.0]] |d |
|a |[[5.0], [25.0, 75.0]] |e |
|b |[
浏览 11提问于2019-12-10得票数 0
回答已采纳
1回答
有没有办法在OMNeT++中改变录制的采样时间？例如，当我在.ini文件中的参数末尾使用矢量记录来记录某些内容时，程序将记录某个采样时间的数据，而我想要更改它。
有人知道怎么做吗？
浏览 17提问于2021-03-11得票数 0
回答已采纳
我正在试图计算PySpark Dataframe列中列表(成本)的平均值，小于平均值的值将得到1且大于平均值a 0。
这是当前的数据文件：
+----------+--------------------+--------------------+
| id| collect_list(p_id)|collect_list(cost) |
+----------+--------------------+--------------------+
| 7|[10, 987, 872] |[12.0, 124.6, 197.0]|
|
浏览 1提问于2017-09-08得票数 1
回答已采纳
1回答
我有下面的PySpark数据帧： cust | amount |
----------------
A | 5 |
A | 1 |
A | 3 |
B | 4 |
B | 4 |
B | 2 |
C | 2 |
C | 1 |
C | 7 |
C | 5 | 我需要按列'cust'分组，并计算每个组的平均值。 预
浏览 32提问于2021-02-01得票数 0
回答已采纳
2回答
const useSomeHook = ({number}) => {
const [newNumber, setNewNumber] = useState(0)
useEffect(() => {
setNewNumber(number + 1)
}, [number])
}
const SomeComponent = ({number, value, ...restProps}) => {
useSomeHook({number})
return <div>{number}</div>
} 让我们假设我有这样
浏览 13提问于2020-04-26得票数 8
对于我的代码，我有一个输入方法，允许用户在数组中输入具有项目名称和价格的任意数量的对象。对于这个任务，如果对象的名称是"peas“，我还应该打印出价格的平均值。除了每次运行代码时，即使使用Peas作为对象的名称，它也会输出没有计算平均值且等于零的结果。谢谢
还有另一个问题，我认为最好用一个单独的方法来计算平均值。但是，数组的最大大小为1000，而输入方法中只有numofEntries变量。因此，我无法使用它来计算数组中实际对象的数量。我怎么处理这件事？
public static void input(Item[] arr) {
Scanner input = new Scan
浏览 0提问于2015-09-18得票数 1
回答已采纳
1回答
在计算平均值时处理空值
、、、
我有一个存储过程，它计算参数上几个值的平均值。
下面是一段代码：
WHILE @@FETCH_STATUS = 0
BEGIN
SELECT
@valFound = AVG(FilterSurface)
FROM
[tblVAR_FilterSurface]
WHERE
refDate >= DATEADD(DAY, -30, @refDate)
AND refDate <= DATEADD(DAY, 0, @refDate)
AND pat
浏览 0提问于2012-11-23得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
