我有一个spark数据帧，看起来像这样 +----+---------+------------------++----+--27| 73.658902219453|+----+---------+------------------+ 我想在spark中编写一个函数，它可以删除距离低于特定值的
浏览 9提问于2021-04-01得票数 1
回答已采纳
2回答
我正在使用Spark 2.4.0，想知道如何使用Spark来处理以下问题：
以下数据框中的每个条目可以具有两种不同的格式，并提供其ids。我想要做的是，如果两个条目共享相同的id (格式1或格式2)，则将它们分组在一起，并为每个组分配一个组id。2中共享相同的id，因此它们被分组在一起并被分配相同的</
浏览 16提问于2019-10-26得票数 1
回答已采纳
我有一个很大的数据框架，里面有很多重复的数据。我希望保留每个副本的第一个和最后一个条目，但删除其中的每个副本。我已经尝试过通过使用带有参数' first‘和' last’的df.drop_duplicates来获取两个数据帧</e
浏览 235提问于2019-10-02得票数 3
回答已采纳
3回答
我有一个大数据帧(tbl_df)，它大约包含以下信息：
data <- data.frame(Energy = sample(1:200, 100, replace = T), strip1 = sample第一个是能量，第二个和第三个是条形数(能量被沉积在那里)。每个条形有一个不同的阈值，它们存储在两个数字数组中，数组中的每个位置对应于相应的</e
浏览 0提问于2018-04-04得票数 1
回答已采纳
2回答
我正在尝试对两个Spark数据帧进行两次连接，之后我希望保留第二个数据帧中的条目，并且只保留第一个数据帧中匹配的结果。join(data,$"MODULESN" === $"ModuleSerialNumber" && $"DEVICEID" === &
浏览 0提问于2018-06-13得票数 0
我有一个大约1000行的熊猫数据帧。这是一个虚构的版本，适用于我的问题。如果我想在交易数量超过10时过滤出交易ID，这将留下单个交易ID(例如，第二个523将丢弃并离开第一个)。我知道我需要在交易数量列中查找小于10的值，然后从该行返回交易id，然后删除交易id匹配的行。 我知道这是不正确的，但这就是我以前的经历。理想情况下，数据</em
浏览 101提问于2020-06-30得票数 2
回答已采纳
请注意，上述数据帧不一定按时间戳的升序排列。此外，可能会有来自不同用户的一些行。为了简单起见，我仅以单调递增的时间戳顺序显示了单个用户的数据帧。我的目标是-找出用户'a‘在每个区域花费了多少时间，按什么顺序？除了组中的最后一个条目外，regionTimeEnd列只是regionTimeStart<em
浏览 1提问于2016-02-10得票数 1
2回答
根据条件从列表中删除元素
、、、
item in line.split(): del item
我的目标是，每个项目都被计数，低于阈值的项目被从我的数据中删除。在这种情况下，只应保留6和7，其余应移除。defaultdict运行良好，但删除项不起作用。
你知道我做错了什么吗？
浏览 0提问于2020-12-28得票数 0
回答已采纳
1回答
我想知道在Omnet++ (静脉框架)下的理论最大传输范围是否与最大干扰距离相同。我想确认另一个人之前所做的一些计算，最后一个得出的结论是，传输范围等于：
在我这边，我分别有12
浏览 1提问于2015-07-29得票数 1
回答已采纳
我有数据帧，我想从Dataframe列中获取第一个值和最后一个值。0.09523809523809523|+----+-----+--------------------+
预期输出来自support列的第一个，最后一个值，即x=[0.23809523809523808,0.047619047619047616.]
浏览 4提问于2019-06-04得票数 3
回答已采纳
创建数据帧：生成如下所示的接下来，我按Set执行groupby操作，第一组如下所示。grouped_by_Set = df.groupby('Set')
现在，我想按组选择Value列中除
浏览 0提问于2021-10-14得票数 2
1回答
基于pyspark的均值漂移聚类
、、、、
议程是对数据帧(以前是pandas，现在是spark)进行一些过滤，然后按user-ids对其进行分组，最后在顶部应用meanshift集群。假设我们在输入数据帧中有两列：user-id和location。对于每个用户，我们需要获取所有集群(在location上)，只保留最大的一个，然后返回其属性，这是一个3维向量。让我们假设3元组的列是col-
浏览 11提问于2019-05-14得票数 0
回答已采纳
2回答
上下文:我在数据集中迭代几个变量，并在每个变量的因素之间执行一个成对的t.test。(我成功地做到了这一点)。我得到的结果是这样的：
我遇到困难的下一个任务是将每个这些值表示为一个表，对于每个元素，如果它的值低于某个阈值(例如，.05)，那么如果两个类之间的测试通过(如果测试低于0.05，则
浏览 0提问于2018-06-28得票数 1
回答已采纳
给定向量sub，我想对向量进行子集，以删除不小于某个阈值x的第一个bp元素，并删除不大于某个阈值y的任何其余元素。此问题的示例数据可能如下所示： 0.05588, 0.06258560.0692912, 0.0692912, 0.0692912, 0.0692912, 0.0692912,
0.0692912)
浏览 1提问于2016-01-28得票数 2
回答已采纳
我正在尝试使用Scala和Spark.I解析一组XML文件。我从这些文件中获取了'n‘个数据帧的数据。(即，数据帧的数量不变，只有文件的数量不同)
我正在解析一组XML文件，并将数据存储在ListBuffer[ListBuffer[String]]中。每个ListBuffer[String]包含<em
浏览 0提问于2019-10-31得票数 1
我正在用环视数据制作图表，并做熊猫来获得我们的结果。我在移除结果中的副本时遇到了困难。B2345 02/01/2015 45 4 30 19
我想删除基于vendor_ID和日期的重复<
浏览 0提问于2019-08-08得票数 2
回答已采纳
1回答
我在寻找一个合适的算法。我有三组数字。每个集合表示一个首选项，由n个变量组成。我想要检查所有集合中的所有变量，并输出一个变量的列表，这些变量在给定阈值范围内，从总体上的最高数目，从最高可能的集合。
第一组:首选第二组:第二组:第三组:最后一组
浏览 10提问于2022-05-31得票数 1
回答已采纳
2回答
对数范围
、、
我有一个非常稀疏的数据集，我想用一个对数比例的直方图来绘制它。我希望X轴看起来类似于：这意味着第一个垃圾桶将包括花费1-10，第二个11-10等等的观测，最后一个是+10.000。的幂数组。现在，我想要的是将一组连续的值映射到该数组，这意味着：产出如下：
1，10，1,100
浏览 3提问于2014-03-19得票数 1
回答已采纳
2回答
这个视频馈送包含几个以不同速度闪烁的灯。所有的灯都是相同的颜色(它们都是红外线LED)。我怎样才能探测到这些闪烁的灯的位置和频率？
免责声明:我是，是OpenCV的新手。我确实有一个学习OpenCV的副本，但我发现它有点压倒性。如果有人能用OpenCV术语解释解决方案，我们将不胜感激。我不期望代码是为我编写的。
浏览 2提问于2009-09-01得票数 13
回答已采纳
我想用regex来匹配计算字符串中的最后一个数学运算符。例如，在字符串中：或我试过regex /(\-|\+|\/|\*)(?=[^\-\+\/\*]*$)/，但出于某种原因，它与最后一个操作符匹配了两次。var st
浏览 0提问于2017-03-07得票数 0
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号