我想通过连接两个非常大的表来读取spark sql中的数据。但我只需要从结果数据帧中获得一个固定数字(假设是500)。employee.deptno, deptname
FROM employee INNER JOIN department ON employee.deptno = department.deptno 在这里，我可以在结果数据帧上使用head(500)或limit(500)函
浏览 19提问于2020-09-17得票数 0
回答已采纳
1回答
我有两个数据帧： df1:|id_device |tracking_time |+-----------------------+--------------------+--------------------+--------------------+ 我想要的是用left join ordered by df2.tracking_time desc limit 1的结果
浏览 13提问于2020-08-23得票数 1
我在AAMC_K.txt、AAU.txt、ACU.txt、ACY.txt中的一个名为AMEX的文件夹中有以下文件。我正在尝试将这些文本文件合并到一个数据帧中。我曾尝试使用pd.merge()来执行此操作，但得到一个错误，即merge函数需要一个向右和向左的参数，并且我的数据在python列表中。如何将data_list中的数据合并为一个panda
浏览 52提问于2019-03-02得票数 0
1回答
晚上好, 所以我有大量的.csvs，我要么想在读熊猫之前在一个巨大的csv中改变它，要么直接创建一个包含所有.csvs的df。.csvs都有两列“时间戳”和“持有量”。现在我想在“时间戳”-column上合并它们，如果它们彼此匹配，并为每个“持有量”-column创建一个新列。到目前为止，我产生了这样的结果： import osimport pandas as pd
浏览 37提问于2020-08-05得票数 0
回答已采纳
我有任意数量的数据帧，有行名和列名。我的问题是，我不想加入他们的位置，而是通过他们的行/列名。我知道我可以使用 abind ()来连接任何想要的<
浏览 0提问于2018-09-12得票数 3
1回答
R中矩阵行的多到多比较
、、、、
我试图用R将两个大数据帧的数据关联起来。数据是这样组织的：
第一数据帧包括~5M行。每一行都需要与第二数据帧中的几行(通常超过1行)进行比较。第二个数据帧约为100,000行，每一行也对应于数据帧1中的多
浏览 3提问于2014-11-17得票数 0
回答已采纳
1回答
我正在努力学习更多关于多变量时间序列预测的知识。我想根据天气数据来预测难民抵达欧洲的情况。到达数据来自不同的来源，天气数据也是如此。有没有办法将这两者结合起来，以便有一个用于多变量时间序列预测的数据集?1个时间序列:每月到达数据2个时间序列:天气数据 有没有可能用天气数据和到达数据制作一个数据帧，用于多变量时间
浏览 6提问于2021-07-05得票数 0
我偶尔会收到一个包含许多N/A值的数据帧。在这些情况下，会有冗余的行。对于每个X值，只有一个Y值。因此，我希望通过将"example1“列与度量列名(M1、M2、..Mn)相结合，将两个"context”行合并为1行(如图所示)。谢谢。
浏览 1提问于2016-11-16得票数 0
1回答
我正在使用Apache，并试图使用比较两个json文件。我有两个数据-- 1)预期数据和2)实际数据。预期数据- table_1
实际数据- table_2
差异
我需要它对每一列进行比较，使之成为确切的，并获得预期的数据格式，并在其中包含另一列'result‘，其中给出传递或失败。
浏览 3提问于2021-07-26得票数 1
我有一个person ID列表，对于每个ID，我希望从两个不同的数据帧中提取所有可用的信息。此外，信息的类型也有ID，我只需要每个人ID的特定信息ID。pd.concat，但我尝试将数据帧转换为数组，并对其进行切片和连接，但这比使用pd.concat更慢。在使用%lprun分析每一行之后，所有的时间都被循环中的pd.concat/logical_and操
浏览 7提问于2018-02-27得票数 0
回答已采纳
1回答
我正尝试在spark dataframe中加载一个100 gb的json文件，并在其上创建一个临时视图。然后我用query查询这个视图中的数据。以下是我的集群详细信息：Databricks runtime Version : 6.1(Apache Spark 2.4.4)
Worker Type
浏览 0提问于2020-03-31得票数 1
我有两个数据框，我想沿着三列进行匹配，以将“年金系数”值拉入下面。我试图用下面一个多少可以重现的例子来说明这一点。我使用的left_join如下所示，但在完整的dataset中，它复制数据中的每一行。然而，它确实引入了正确的年金系数。我不确定是什么原因造成的，也不知道是否有更好的替代方案。
浏览 15提问于2021-02-09得票数 0
我想加入两个数据帧。有些列名重叠，其中一个数据帧的重叠列中有NA条目。下面是一个简化的示例：
df1 <- data.frame(fruit = c('apples','oranges','bananas','grapes'), var1 = c(1,2,3,4), var2data.frame(fruit = c('oranges
浏览 1提问于2016-08-23得票数 11
回答已采纳
我有两个pandas数据帧，每个都有不规则的时间序列数据。我还想为通过连接过程添加的任何“新”行向前填充frame2的其他列。我该怎么做呢？我试过了：但这只会留下一个具有匹配时间戳行的<
浏览 1提问于2014-11-14得票数 7
回答已采纳
1回答
当df1和df2具有相同的行并且join操作df1.join(df2)的复杂度是多少？是否有可能对两个数据帧进行排序并使其具有更好的性能？
浏览 0提问于2019-09-20得票数 0
我想将两个数据帧A，B连接到一个没有重复行的新数据帧中(如果B中的行已经存在于A中，则不添加)： I II I II1 3 1 3 1 I II
0 1
浏览 1提问于2014-01-24得票数 81
回答已采纳
1回答
已经有了一个答案，可以处理一个相对简单的数据帧，这个数据帧被赋予了。
但是，我手头的数据帧有多列和大量行。一个数据帧包含沿axis=0连接的三个数据帧。(一个的底端附加到下一个的顶部。)它们由一行
浏览 1提问于2017-02-08得票数 4
假设我有两个数据帧A和B，每个数据帧包含两个名为x和y的列。我希望连接这两个数据帧，但不是连接在两个数据帧中x和y列相等的行上，而是连接在A的x列是B的x列的子字符串且y列相同的行上。这
浏览 2提问于2015-01-21得票数 0
我正在将一个文件读入包含许多列和行的数据帧中，但我对单个列执行我的操作(重新分区、过滤等)感兴趣，所以我计划过滤不需要的列，但当我将最终数据帧写入另一个输出文件时，我如何才能包括所有被过滤掉的列？other operations on the inputDF我只对这里<
浏览 1提问于2019-07-28得票数 0
1回答
我有一个数据框，它有一个ID:String列、一个Type:Int列和一个Name:String列。但是我还有另外三个数据帧，它们包含一个ID列和一个Name列。我想做的是用其他数据帧中的值填充第一个Dataframe中缺少的值。其他数据<
浏览 3提问于2016-09-24得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
