1回答
我正在尝试旋转Spark数据框，计算每个季度的中位数，然后添加额外的列来计算两个季度之间的差值 示例数据： schema = "id INT, amount INT, timestmp STRING""06.07.2020 12:31"), \ (2,3510,"16.09.2020 17:01"))
+---+----------
浏览 10提问于2021-07-07得票数 0
回答已采纳
2回答
我正在试着在scala星火中使用枢轴方法。= df_input.groupBy("memberlogin").pivot("country_group2").count()Exception in thread "main" java.lang.NoSuchMethodError:
org.apache.spark.sql.GroupedData.pivot(
浏览 1提问于2017-04-04得票数 1
回答已采纳
Spark 2附带了approxQuantile，它给出了近似的分位数，但精确的中位数计算起来非常昂贵。对于Spark Dataframe中的一列值，是否有更多的Pyspark方法来计算中值？
浏览 3提问于2016-08-03得票数 3
回答已采纳
我有这个dataframe，我试图将这个dataframe操作转换成sql使用pivot函数。有谁想过以sql的方式应用枢轴函数吗？我试过这样做， """| 2| c|| 1| b|| 1| a|
+-
浏览 0提问于2020-05-11得票数 4
回答已采纳
1回答
代码： def meanTemperature(df,spark): sumtemp=spark.sql("SELECT temperature from washing").sum() returnmean 错误: AttributeError：'DataFrame</
浏览 45提问于2019-05-16得票数 0
Census_block_group attribute value//代码df.groupBy("B08007e1
浏览 17提问于2019-07-30得票数 0
回答已采纳
我有一个Spark DataFrame，数据如下：-----------------1 | Unidentified8 | UseCase210 | UseCase212 | Unidentified
我必须提取列UseCase中值为当我使用映射函数(在将其转换为RDD之后)或UDF时，我在输出DataFrame中最终得到8行
浏览 5提问于2016-12-15得票数 1
我有一个关于38313行数的Dataframe，对于一些AB测试用例，我需要将这个DataFrame分成一半并分别存储。出于这个目的，我使用的是org.apache.spark.sql.randomSplit，这个函数在一个小数据集上似乎很好，但是当您有一个大的DataFrame时，它就会引起一些问题。我注意到，每次我把DataFrame分成两半，我就会得到一个重叠的结果。rows and some data we had in dedupTarget doesn't even exist in
浏览 0提问于2019-08-29得票数 1
回答已采纳
%%sparkfrom functools import reduce然而，我发现奇怪的是，p
浏览 3提问于2021-12-08得票数 0
回答已采纳
1回答
我有一份数据
val df = spark.sqlContext.createDataFrame(Seq( ("100","3","sceince","A"), ("100","3","maths","
浏览 4提问于2019-10-16得票数 1
回答已采纳
1回答
熊猫枢轴表嵌套集
、、
但是，表单dtype是绝对的，我不能在非数字值上使用均值和中值函数。如果我在第一个aggfunc中包含平均值，我就会得到这个错误。DataError: No numeric types to aggregate
在创建枢轴表时，是否有一种方法可以在枢轴表中嵌套aggfuncts或更改dtype？df = pd.DataFrame({"A": ["foo", "foo", "foo"
浏览 0提问于2019-10-08得票数 0
回答已采纳
2回答
"", "70": "\"Expectations not being met\"",}val df = sqlContext.read.option("multiline","true")
浏览 2提问于2022-01-24得票数 0
2回答
如何删除星火表列中的空白
、、、、
我使用的是spark表，而不是dataframe或SQL表(但如果需要，我可以使用dataframe或SQL表)。下面是我的星火表的生成方式：cols = dataset.columns+----------+----import regexp_replace
dataset1=dataset.select(regexp_replace(col("purch_location"),&qu
浏览 6提问于2017-12-03得票数 2
1回答
我有一个有3列的dataframe，如下所示我希望对id上的列进行数据透视并填充这些列，以便每一行包含每个id +列组合的列，其中值为该id，如下所示注意:如果ID不匹配，则显示零或零下面是第一个dataframe的代码：df = spark.createDataFrame
浏览 4提问于2022-01-14得票数 1
回答已采纳
(SELECT [ID],[Timestamp],[Value] FROM [table] Where [Timestamp] >= '2021-10-13') alias"""
big_df = spark.read.formatoption("driver", driver).option("url", url).option("dbtable", query).load() 如何将下面的'2021-10-13‘替换为python dat
浏览 13提问于2021-10-19得票数 0
bhtuyel:105MF-AXI; null; 2013-04-26 17:12:00.0; 298;null;
我犯了一个错误，比如：found : org.
浏览 0提问于2015-08-03得票数 0
6回答
我需要使用Scala计算星火中双数据类型的分组数据集的精确中值。
它不同于类似的查询：。这个问题涉及分组数据的查找数据，而另一个问题是在RDD级别上查找中位数。
浏览 5提问于2017-01-02得票数 3
回答已采纳
2回答
我有一个具有相同模式的dataframe，它对dataframe的一个字段、每行的init和其他字段中的Null进行了更新。如何应用连续的更改重建每条记录？为了更清楚，让我们举个例子： listOfTuples = [(101, "Status_0", '2019','value_col_4',0)]| 1|Status_0|2019|value_col_4| 0|
+
浏览 28提问于2019-07-02得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号