1回答
我想使用spark中的一个窗口将当前N行和下一个N行ala的所有这些特征id字符串的数组连接起来：from pyspark.sql.window import WindowwindowSpec = Window \ .orderBy(df['timestamp']) \
.rowsBetween(-50,
浏览 2提问于2017-04-13得票数 1
回答已采纳
尝试弄清楚如何在PySpark中使用窗口函数。这里有一个我希望能够做的例子，简单地计算用户发生“事件”的次数(在这种情况下，"dt“是一个模拟的时间戳)。from pyspark.sql.window import Window
df = sqlContext.createDataFrame使用窗口函数的正确方法是什么？我读到
浏览 2提问于2015-09-25得票数 5
回答已采纳
1回答
我正在使用PySpark的DataFrame部分来分析来自Apache Kafka的数据。我遇到一些麻烦，需要一些帮助。from pyspark.sql import functions
# selected_df is dataframe come from kafka use spark.readStream.formatkafka_time", "10 minutes").groupBy(functions.window("kafka_time&qu
浏览 21提问于2019-03-14得票数 1
1回答
我正在为星火数据集构建管道，并收到以下错误消息：因为我的dataframe类是：而不是如何获得正确
浏览 1提问于2022-06-11得票数 -1
回答已采纳
1回答
目前，我还没有找到任何答案，如何在VS代码(我的dev ide)中将pyspark调试器附加到UDF内部的本地进程。Server stopped.import pandas as pd
import pyspa
浏览 4提问于2020-12-25得票数 0
回答已采纳
4回答
PySpark计算相关性
、、、、
我想使用pyspark.mllib.stat.Statistics.corr函数来计算pyspark.sql.dataframe.DataFrame对象的两列之间的相关性。corr函数期望接受rdd of Vectors对象。如何将df['some_name']列转换为rdd of Vectors.dense对象？
浏览 12提问于2016-06-03得票数 16
回答已采纳
2回答
创建DataFrame后，我可以将其保存为avro、csv或拼板格式。
在dataframe或rdd中是否有其他格式可用于在Hadoop中保存数据？
浏览 2提问于2017-12-21得票数 1
1回答
我在PySpark上有一个三列的数据格式，我正在尝试在它上执行相当于RANK() OVER(PARTITION BY ... ORDER BY ...)的操作。dataframe df看起来像：A , B , 0.500from pyspark.sql.window import Window
wi
浏览 1提问于2016-05-16得票数 5
因此，对于dataframe，包含波旁酒作为产品的所有行都将作为最大订单(波旁酒订单)< 10过滤掉。我一直在寻找窗口函数，但没有得到正确的。我创建了一个像这样的窗口规范
windowSpec = Window.partitionBy(groupedDf['product']).orderBy(groupedDf['orders'].desc
浏览 12提问于2022-03-08得票数 0
给定以下DataFrame：| uid| k| v|count|| a|pref1| b|| 63|| a|pref1| e| 84|+----+-----+---+-----+
如何从
浏览 0提问于2017-03-07得票数 13
回答已采纳
我正在使用木星笔记本对pySpark进行分析。我的代码最初使用SQLContext(sc)，= sqlContext构建数据格式，但现在我切换到了HiveContext，因为我将使用窗口函数。我的问题是，现在我在尝试创建dataframe时得到了一个Java错误：from pyspark.sql import SQLContext
frompyspark.sql import <
浏览 3提问于2016-07-13得票数 3
回答已采纳
我正在使用一个dataframe，它有一个类型为Float的列“Col”。列的值有太多的小数(例如: 1.00000000000111)。如何将列限制为只保存一个小数(例如: 1.0)的值？
浏览 0提问于2018-03-16得票数 0
回答已采纳
我在pyspark dataframe中有一个count列，如下所示：a 3 50 我想要一个结果数据帧为Count Percent CCount CPercent b 3 50 6 100
我不能使用熊猫数据帧我找到了指向窗口分区的答案，但我没有这样的列作为分区依据。请大家用pyspark</
浏览 5提问于2017-03-20得票数 0
1回答
我有一个PySpark数据帧，我想在其上运行滑动窗口计算。下面是我想要运行的操作的示例代码(显示为pandas dataframe)：有人能告诉我如何在PySpark中复制这个操作吗？
浏览 0提问于2018-03-18得票数 0
我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFrame带有时间戳字符串的pyspark列在验证时间戳格式的基础上，为每个元素创建一个具有布
浏览 4提问于2021-11-19得票数 0
回答已采纳
我想使用PySpark (Spark1.6.2)对存在于Hive表中的数值数据执行主成分分析(PCA)。= hiveContext.sql("SELECT * FROM my_table")<class 'pyspark.sql.dataframe.DataFrame有一篇优秀的StackOverflow文章展示了如何在PySpark：中执行PCA
在pos
浏览 1提问于2016-10-06得票数 4
回答已采纳
1回答
有一段时间，我在寻找如何将多个列一次重命名为一个PySpark DF，并遇到了如下情况：def rename_sdf(df, mapper={}, **kwargs_mapper，其中通过赋值语句将方法添加到pyspark.DataFrame类中。问题是，我正在创建一个Github来存储我的所有函数和ETL，我认为如果我能够应用上面显示的逻辑，就可以非常容易地创建一个__init__.py模块，在其中实例化我的所有功能，比如：
from funcsimpo
浏览 6提问于2020-07-09得票数 1
我正在尝试测试一个实用函数，它接受一个spark DataFrame，并在经过一些转换后输出一个新的spark DataFrame。在尝试模拟测试数据时，我需要为输入构造一个pyspark dataframe。我看到的大多数使用这种用法的例子 spark.createDataFrame(data, columns) 我对文档不太熟悉，找不到"spark“。您如何使用from pyspark* import spark
浏览 8提问于2020-08-12得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号