如何合并Pandas DF并保持合并的结构？
在Pandas中，可以使用concat函数或merge函数来合并DataFrame并保持合并后的结构。
- 使用
concat函数合并DataFrame：- 概念：
concat函数用于在行或列方向上连接两个或多个DataFrame。 - 优势：能够快速合并多个DataFrame，保持数据的完整性。
- 应用场景：常用于将多个数据集按行或列方向进行合并，例如合并多个相同结构的日志文件。
- 推荐的腾讯云相关产品：云数据库TencentDB、腾讯云数据工厂DataWorks等。
- 产品介绍链接地址：云数据库TencentDB、腾讯云数据工厂DataWorks。
- 以下是使用
concat函数合并DataFrame的示例代码： - 以下是使用
concat函数合并DataFrame的示例代码： - 输出结果：
- 输出结果：
- 概念：
- 使用
merge函数合并DataFrame：- 概念：
merge函数用于根据指定的列将两个DataFrame进行连接。 - 优势：能够根据指定列进行精确的合并操作。
- 应用场景：常用于合并具有相同或相关列的多个DataFrame，例如根据用户ID合并用户信息和订单信息。
- 推荐的腾讯云相关产品：云数据库TencentDB、腾讯云数据工厂DataWorks等。
- 产品介绍链接地址：云数据库TencentDB、腾讯云数据工厂DataWorks。
- 以下是使用
merge函数合并DataFrame的示例代码： - 以下是使用
merge函数合并DataFrame的示例代码： - 输出结果：
- 输出结果：
- 概念：
以上是关于如何合并Pandas DataFrame并保持合并的结构的完善且全面的答案。
相关·内容
1回答
我正在尝试使用pandas合并两个数据帧。我正在进行数据帧的外部合并。我的数据框有以下列：
DF1: (ID, X)
DF2: (ID, Y, Z)
当我合并这些数据框时，输出数据框中列的顺序发生了变化。
对于某些迭代，我得到了
DF_OUTPUT: (ID, X, Y, Z)
有时是这样的：
DF_OUTPUT: (X, ID, Y, Z)
如何在输出数据框中保留列的顺序？
浏览 2提问于2018-11-27得票数 0
2回答
我在多个子文件夹中获取了不同数量的检测器数据，基本上我需要将它们组合到一个pandas数据帧中。
我想知道有没有什么聪明的方法来做这个？
使用
查找。-name *.cvs | wc -l
给出:例如，1464个文件
然后，我必须将其加载到数据帧中。
目录结构可能类似于：
sub-sub-sub-data
/
main folder-sub-sub-sub-data
\
sub-sub-sub-data
tldr:如何将未知数量的数据从多个不同的子文件夹加载到单个pandas数据帧中
浏览 0提问于2020-06-26得票数 0
df_in是样本数据帧，df_out是预期输出。 如何删除前5个零，使我有一个零和所有其他元素。 import pandas as pd
df_in = pd.DataFrame({'a':[0,0,0,0,0,0,1,2]})
df_out=pd.DataFrame({'a':[0,1,2]}) 提前谢谢。
浏览 5提问于2019-04-22得票数 0
回答已采纳
如果我有一个这样的Pandas Dataframe： ? 如何隔离每次的第一个值，以便获得如下的Pandas Dataframe： ?
浏览 27提问于2019-02-07得票数 0
当我试图用4500万个文件读取文件时，我有“MemoryError”。
如何解决这个问题？
注意：我的代码适用于小文件
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
from pandas.tools.plotting import scatter_matrix
import matplotlib.pyplot as plt
from pylab import rcParams
import seaborn as sb
address = 'file.txt'
浏览 0提问于2018-06-29得票数 1
3回答
我在python pandas中有两个数据帧
数据帧1
User_id zipcode
1 12345
2 23456
3 34567
数据帧2
ZipCodeLowerBound ZipCodeUpperBound Region
10000 19999 1
20000 29999 2
30000 39999 3
如何使用pandas merge将区域中的数据映射到条件为if(df1.zipcod
浏览 3提问于2016-10-29得票数 3
2回答
鉴于以下数据框架：
import pandas as pd
df1 = pd.DataFrame({'Last':['Smith','Jones','Johnson'], 'First': ['Tom', 'Jim', 'Neil'], 'DOB':['1/1/2010', '3/1/2012', '4/3/2011'], 'ID': [1,2,3]})
df1
DOB
浏览 3提问于2015-10-07得票数 1
回答已采纳
3回答
我有一个带有命名索引的Pandas DataFrame。我想把它传递给一段代码，该代码接受一个DataFrame、一个列名和其他一些东西，并执行一系列涉及该列的工作。只有在这种情况下，我想要突出显示的列是索引，但是为这段代码提供索引标签是行不通的，因为您不能像提取常规列那样提取索引。例如，我可以像这样构造一个DataFrame：
import pandas as pd, numpy as np
df=pd.DataFrame({'name':map(chr, range(97, 102)), 'id':range(10000,10005), 'valu
浏览 1提问于2018-09-03得票数 32
1回答
我有一个这种格式的数据帧 ? 当我将其导出到excel并使用基于SITE-ID的过滤器时，它将只显示该组的第一行。例如 ? 我确实理解，这就是excel的工作方式，在excel中有其他的替代方法。但是，当pandas导出到excel时，我是否可以做些什么来解决这个问题，以便当我过滤Site-ID时，我将看到该Site-ID下的所有内容？我不想为此做任何VBA或宏。 谢谢
浏览 39提问于2020-01-22得票数 0
假设您有以下数据帧： In [1]: import pandas as pd
In [2]: index = [('California',2000),('California', 2010), ('New York', 2000),
('New York', 2000), ('New York', 2010), ('Texas', 2000), ('Texas',2010)]
In [3]: populations = [33871648, 37253956,189765457
浏览 23提问于2021-03-12得票数 1
回答已采纳
我正在尝试将几个文件从csv导入到单个DataFrame中，并在尝试添加第三个DataFrame时得到以下错误。
AssertionError: cannot create BlockManager._ref_locs because block [ObjectBlock: [CompletionDate, Categories, DateEntered_x, <lots more columns here>...], dtype=object)] does not have _ref_locs set
守则是：
project = pandas.read_csv(read_csv
浏览 9提问于2013-08-11得票数 1
回答已采纳
我正在尝试合并看起来像这样的两个数据框：https://i.imgur.com/ZCPzx7V.png 我应该写些什么来合并这两者呢？ 我经历过这种情况，但仍然收到错误： https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.merge.html https://www.datacamp.com/community/tutorials/joining-dataframes-pandas
浏览 17提问于2020-03-24得票数 0
我使用merge(..., how='left')合并两个数据格式，因为我只想保留与“左”数据格式匹配的条目。问题是合并操作似乎删除了我最左边的dataframe的索引，如下所示：
import pandas
df1 = pandas.DataFrame([{"id": 1,
"name": "bob"},
{"id": 10,
"name": "
浏览 4提问于2013-03-27得票数 9
我有一个长格式的面板数据集，即观察数据在Panel_ID日级别。我有，比方说，m Panel_IDs，每个Panel_ID都有T(m)日观测。
例如，数据应该是这样的。我展示了一个有2个面板ID (1和2)的例子，但是数据包含了很多它们。X是一个感兴趣的变量。
Panel_ID Day X
1 2-feb 5
1 3-feb 4.3
1 5-feb 3
2 2-feb 0
2 5-feb 0.5
2 8-feb 3.2
等等，不同的Panel_IDs不一定是相同的，每个Panel_ID都有自己的每日观测数。
如何在Pandas中加载此数据集，
浏览 3提问于2015-05-27得票数 0
回答已采纳
我正在使用python pandas，并希望根据下表的中间列对输出进行排序(我已经显示了我正在获得的输出和我想要获得的输出)。 我在pandas中使用groupby函数来获得输出，但是它是按计数列排序的(参见下面的输出表)，而我想要按YOB列排序(请参见所需的输出表)。 另外，我如何计算每个国家的平均出生年份？ import pandas as pd
xlpath= "C:/Users/Username/documents/Datafile.xlsx"
df = pd.read_excel(eval('xlpath'))
y = df.groupby(&
浏览 20提问于2019-10-14得票数 0
回答已采纳
使用Pandas数据帧，有没有一种方法可以扁平化groupby操作的结果，而不必使用临时数据帧，然后将其合并到原始数据帧中？ 假设我需要创建一个依赖于聚合操作的"result“列，就像这个场景： import pandas as pd
df = pd.DataFrame({'box': [1,1,1,2,2,3,3,3,3], 'item': ['apple', 'durian', 'pear', 'orange', 'banana', 'apple',
浏览 82提问于2020-05-04得票数 2
回答已采纳
我不知道如何解决我的问题。我想合并两个数据文件：
show = pd.merge(df1, df2, how='left', on=0)
但是，由于每次调用函数时，这两个数据格式都有很大的变化，所以我不知道有多少列，所以我无法命名它们。合并函数需要列名才能工作。我试着只提供列号，但没有起作用：
raise KeyError(key)
KeyError: '0'
是否可以不使用列名来合并数据文件。或者--我是否可以在不知道有多少列的情况下命名列呢？
@jezrael仍然显示一个错误：
Traceback (most recent call last):
Fil
浏览 4提问于2021-03-10得票数 0
回答已采纳
我正在尝试使用pandas将非常大的csv文件合并在一起，并不断耗尽内存。有没有更有效利用内存的方法呢？ 我尝试过使用Dask Dataframes而不仅仅是pandas，但我仍然遇到了同样的问题。 temp_df = dd.merge(gcs_df, dias_fio_df, how='inner', on=['charttime', 'subject_id']) 我得到一个MemoryError：screenshot_of_error
浏览 21提问于2019-06-24得票数 0
3回答
在pandas数据帧中，例如： data = [['Ben', 'Apple', 'Banana'], ['Nancy', 'Pear', 'Apple'], ['Paul', 'Banana', 'Mango'], ['Sally', 'Mango', 'Pear']]
df = pd.DataFrame(data, columns = ['Name', 'Like'
浏览 30提问于2021-03-22得票数 2
我通常使用具有多个级别的索引的大型DataFrames，我希望根据级别的子集对其进行切片。我不认为有一种简单的方法可以做到这一点。具体地说，pandas.IndexSlice没有提供预期的结果，我将在下面解释。
假设我们有一个这样的DataFrame：
col0 col1
level0 level1 level2
0 0 0 0 0
1 1 1
1 0 2 2
浏览 5提问于2019-09-15得票数 0
我留下了基于键的连接数据帧A到B。合并后，我发现在右边的dataframe上没有任何记录与右边的dataframe具有相同的键，但是右边的表中的列仍然被添加。如果没有公共记录，如何阻止Pandas添加新列？
浏览 0提问于2019-07-24得票数 0
在这里，我创建两个数据文件，然后合并它们。现在，如何使用Python中的简单比较运算符来验证所有列是否合并在合并的DataFrame中？
import pandas as pd
# elements of first dataset
first_Set = {'Prod': ['Laptop', 'Mobile Phone',
'Desktop', 'LED'],
'Price_1': [25000, 8000, 20000,
浏览 4提问于2022-02-27得票数 0
1回答
我有一个巨大的CSV文件(3.5GB，每天都在变大)，它有正常的值，还有一列名为“元数据”的嵌套JSON值。我的脚本如下所示，其目的只是将JSON列转换为其每个键值对的普通列。我正在使用Python3 (Anaconda；Windows)。
import pandas as pd
import numpy as np
import csv
import datetime as dt
from pandas.io.json import json_normalize
for df in pd.read_csv("source.csv", engine='c',
浏览 0提问于2018-06-22得票数 3
回答已采纳
每个月我都会下载整个csv格式的账本，并将其保存到一个文件夹中。我如何在pandas中将其作为单数据帧读取
浏览 1提问于2020-12-04得票数 0
我正在试图计算一个列与它的延迟(移位)之间的距离，这是Pandas dataframe中的组。需要对组进行排序，以便提前一个时间步骤进行转移。这样做的标准方法是通过.groupby() (也称为拆分)，然后在每个组上使用.apply()的距离函数，然后重新加入.concat()。这很好，但是只有当我没有显式地对分组数据进行排序的时候。当我对分组数据error进行排序时，会在重新连接步骤中得到一个错误。
下面是我的示例代码，对于这些代码，我能够再现意外的行为：
import pandas as pd
def dist_apply(group):
# when commented ou
浏览 2提问于2020-01-28得票数 0
回答已采纳
1回答
用Python组合三个2D矩阵
、、、、
我正在使用Python2.7.6
我有三个具有相同列(N)和相同行(M)的二维矩阵.如何将这3个矩阵折叠成一个巨型结构，即相同的索引和列标签(m矩阵)。现在他们是潘达斯的DataFrames。
#Pseudocode
import pandas as pd
import numpy as np
DF_1 = pd.DataFrame(data)
DF_2 = pd.DataFrame(data)
DF_3 = pd.DataFrame(data)
#I was thinking maybe a dot product like:
np.dot(DF_metNorm.as_matrix()
浏览 0提问于2015-11-01得票数 1
回答已采纳
2回答
我不知道代码是如何工作的。同样的方法我得到了不同的结果。
我试图运行木星笔记本中的代码，但不知道如何运行。
我不明白“foo”、“bar”、“baz”、“foo”和“A”、“B”、“C”、“D”两种类型的键有什么区别
有人能解释一下吗？
非常感谢！
```https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.merge.html
df1 = pd.DataFrame({'lkey'：'foo'，'bar'，'baz'，'foo
浏览 0提问于2019-10-31得票数 1
回答已采纳
我正在和Python Pandas一起学习数据科学。但是，我不擅长处理数据。所以我需要一些帮助。 df1 >>> df1
stamp id col1 col2
0 100000 1 100 60
1 100000 2 100 30
2 100001 1 10 10
3 100001 1 20 30
4 100001 2 20 10
5 100001 2 20 90
6 100001 3 30 10
7 100002 1 300
浏览 21提问于2020-06-20得票数 1
我试图在两个不同的excel工作簿中获取数据，每个工作簿只有一个工作表，并将它们连接或合并在一起。第一个是包含约282,000行数据的工作表，我正在通过一个公共列将包含大约13,000行数据的第二个表合并到其中。这是一对多的加入。我目前的代码可以工作，但是运行大约需要2.5个小时，我觉得应该有一个方法来提高它的效率。下面是我的代码：
import pandas
df1 = pandas.read_excel('file1.xlsx')
df2 = pandas.read_excel('file2.xlsx')
final_file = pandas.merg
浏览 0提问于2018-08-09得票数 2
假设我有两个数据格式-- df1和df2。如果df2的特定列的值包含df2的特定列中的字符串，则希望将某些列的df1附加到df2中，如果不包含，则为NaN。
一个小例子：
import pandas as pd
df1 = pd.DataFrame({'col': ['abc', 'def', 'abg', 'xyz']})
df2 = pd.DataFrame({'col1': ['ab', 'ef'], 'col2': ['match1&#
浏览 2提问于2017-03-09得票数 4
我想打开和读取许多csv文件一次，打开每一个作为一个dataframe，然后把它们放在一起在一个单一的数据帧。所有csv/DataFrame的列数都相同。我试着这样做： import os
import pandas as pd
df = pd.DataFrame()
paths = "C:\\Users\\Host02\\Documents\\analise2\\archives\\ms"
arr = os.scandir(paths)
for file in arr:
df2 = pd.read_csv(file.path, sep=";"
浏览 66提问于2020-07-23得票数 1
回答已采纳
1回答
excel = pandas.read_excel(file, ...)
columns = df.columns
print(columns)
["AA", "AA.1", "AA.2"]
这是同一个名字
你们怎么命名合并的？
我想要"AA“
浏览 1提问于2022-05-10得票数 0
回答已采纳
2回答
如何根据其他数据框中的条件更新pandas中的列。我有2个数据帧df1和df2 import pandas as pd
df1=pd.DataFrame({'names':['andi','andrew','jhon','andreas'],
'salary':[1000,2000,2300,1500]})
df2=pd.DataFrame({'names':['andi','andrew'],
浏览 7提问于2019-05-13得票数 1
回答已采纳
1回答
如何连接具有相同键和互补值的两行
、、、、
我的目标是将下面的表折叠成一列，这个问题专门处理下面的蓝色行。该表有三个分类变量和6个分析/定量变量。列C1和C2是成功连接所需的唯一变量。所有空白单元格都是NaNs，下面是用于复制的python代码。这些行是独立导出的，因为它们具有在其他相关表中找到的信息，而不包括在导出中。
问题.(蓝色)蓝行中的一些定量信息也在灰色行中，而有些则不是。是否有方法将新信息(Q6中的-8)复制到灰色行，然后删除/突出显示蓝色行？在这里，假设drop_duplicates的保留=‘first’默认值是活动的，则保留灰色行分类信息。
相关问题.(黄色行)
数据表
预期产出
预期的输出将使用来自蓝行和蓝行的
浏览 0提问于2020-01-16得票数 1
在Pandas DataFrame中，如何用整数在一列中映射字符串。我在DataFrame中有大约500个字符串，需要用以'1‘开头的整数替换它们。
样品DataFrame.
Request count
547 GET /online/WebResource.axd 37506
424 GET /online/2/2/22001.aspx 13315
699 POST /online/2/6/1/261001.aspx 13236
546
浏览 10提问于2014-03-12得票数 7
回答已采纳
2回答
我有两个Dataframes df_general和df_award，它们共享一个名为ProjectNumber的列。我想把他们合并。
我试着用dropna()删除所有的行，它确实删除了它们-
df_award['ProjectNumber'].replace(' ', np.nan, inplace=True)
df_award.dropna(subset=['ProjectNumber'], inplace=True)
df_award.head()
然后像这样合并两个Dataframes (因为我只想从第一个表中得到一个列，从第二个表中只需
浏览 1提问于2018-10-26得票数 0
回答已采纳
我有两个看起来类似的数据格式，我想将df1中的一列除以来自df2的一列。
以下是一些样本数据：
dict1 = {'category': {0: 0.0, 1: 1.0, 2: 0.0, 3: 0.0, 4: 1.0},
'Id': {0: 24108, 1: 24307, 2: 24307, 3: 24411, 4: 24411},
'count': {0: 3, 1: 2, 2: 33, 3: 98, 4: 33}}
df1 = pd.DataFrame(dict1)
dict2 = {'Id': {0: 24108,
浏览 1提问于2022-07-27得票数 1
回答已采纳
我在熊猫里有两个数据帧。我想合并这两个数据帧，但我总是遇到内存错误。我可以使用的替代方案是什么？
下面是设置：
import pandas as pd
df1 = pd.read_cvs("first1.csv")
df2 = pd.read_csv("second2.csv")
print(df1.shape) # output: (4757076, 4)
print(df2.shape) # output: (428764, 45)
df1.head
column1 begin end category
0 class1
浏览 1提问于2016-11-24得票数 2
3回答
我有一只熊猫DataFrame df：
import pandas as pd
# Create a Pandas dataframe from some data.
df = pd.DataFrame({'Var1': ['d', 'a --> b', 'e', 'c --> d'],
'Var2': ['a', 'e', 'a --> b', 'd'],
浏览 3提问于2021-03-19得票数 0
回答已采纳
1回答
我需要一个代码，可以搜索excel文件中的特定单词。在特定的列中，我希望它输出列字母和行号以及工作表名称？我已经开始了，但不知道下一步：
from xlrd import open_workbook
book = open_workbook("excel1.xlsx")
for sheet in book.sheets():
是否需要打印行号、列字母、表名？另外，如果你能使用pandas而不是xlrd，那就更好了。
浏览 0提问于2017-11-16得票数 2
这无疑是一个“只见树木不见森林”的时刻。我已经盯着这个代码看了一个小时了，看不出我做错了什么。我知道它正盯着我的脸，但我就是看不出来！
我正在尝试使用Python在两个地理坐标系统之间进行转换。
我有经度(x轴)和纬度(y轴)值，并希望转换为OSGB 1936。对于单点，我可以执行以下操作：
import numpy as np
import pandas as pd
import shapefile
import pyproj
inProj = pyproj.Proj(init='epsg:4326')
outProj = pyproj.Proj(init='eps
浏览 36提问于2016-09-21得票数 2
回答已采纳
我有几个用制表符分隔的文件，前2列相同。我正在尝试使用pandas合并功能合并这些文件。
我用glob和read_csv函数把所有的文件做了一个数据帧。一切看起来都很好直到这里。pandas合并函数抛出错误如下。pd concat运行良好，但这不是我想要的，因为它在当前文件下添加新文件。请帮我找一下用法。
path = r'/data/tim/home/*'
file = glob.glob(path + "/sale.txt")
df = (pd.read_csv(i,delimiter='\t') for i in files)
浏览 0提问于2019-08-01得票数 0
1回答
我将两个熊猫DataFrames合并在一起，得到"_x“和"_y”后缀。下面的例子很容易复制。我尝试将, suffixes=(False, False)添加到合并中，但它返回了一个错误：ValueError: columns overlap but no suffix specified: Index(['f1', 'f2', 'f3'], dtype='object')。我一定是漏掉了什么明显的东西？我理解使用join会发生这种情况的原因，但我没想到会发生合并。
请忽略复制片错误。我不明白为什么它不把这个错误抛到
浏览 2提问于2020-07-07得票数 6
回答已采纳
3回答
我有一个数据，如下所示。
df：
ID tag
1 pandas
2 numpy
3 matplotlib
4 pandas
5 pandas
6 sns
7 sklearn
8 sklearn
9 pandas
10 pandas
在上面的df中，我想添加一个名为tag_binary的列。不管是熊猫还是非熊猫。
预期产出：
ID tag tag_binary
1 pandas
浏览 6提问于2021-09-13得票数 2
回答已采纳
我有三个csv数据帧的tweet，每个~500万条tweet。以下用于连接它们的代码存在内存错误较低的情况。我的机器有32 My的内存。如何在pandas中为此任务分配更多内存？ df1 = pd.read_csv('tweets.csv')
df2 = pd.read_csv('tweets2.csv')
df3 = pd.read_csv('tweets3.csv')
frames = [df1, df2, df3]
result = pd.concat(frames)
result.to_csv('tweets_combine
浏览 22提问于2020-06-19得票数 0
1回答
从字典列表中提取熊猫数组
、、、
我有这样的字典清单
[{"Key":[val1,val2,...]}, {"Key2":[val1,val2,...]}, ...]
我想将其转换为csv格式，其中键是列标题，而他的值来自列值。
为了做到这一点，我本来打算使用一个pandas数据frame (它很容易导出到csv )，但我无法想出如何将我的值放入数据框架中。
我试过了myPanda = pd.DataFrame.from_records(data)，但是没有用。
浏览 1提问于2017-11-26得票数 1
回答已采纳
1回答
我想编写一个pandas数据格式，以便在某些列被合并的情况下进行excel。我知道可以这样合并行：
df = pd.DataFrame({"animal": ("horse", "horse", "dog", "dog"), "color": ("black", "white", "grey", "black")})
df.to_excel("some_path_here")
但是，我不确定如何像下面这样创建
浏览 1提问于2021-11-05得票数 0
回答已采纳
2回答
在Pandas中，我们可以使用dataframe.drop_duplicates()删除重复数据，默认情况下保留重复数据的第一行。如果是keep_last = True，则保留最后一行。我们如何保持随机行，并使用熊猫drop_duplicate删除重复行？
浏览 3提问于2014-04-04得票数 5
回答已采纳
我有两个DataFrames，两个国家都是1--首先是183行，2--第二行是156行--它们都有相互导入的信息，我需要第一列的一列和第二列的一列，我的目标是创建一个单一的Dataframe，包含我需要的两个列，以及两个数据名通信的包含的名称。
这就是我所做的，我得到的信息
for i in range(183) :
for j in range(156):
if df['Country'][i]==df_happy['Country or region'][j]:
df.drop(i,axis=0,inplace
浏览 3提问于2020-10-31得票数 0
我拿到了那本书。2只熊猫的资料：
df1 = pandas.DataFrame(data = {'col1' : [1, 2, 3, 4, 5], 'col2' : [10, 11, 12, 13, 14], 'col3' : [0,2,0,-1,0]})
df2 = pandas.DataFrame(data = {'col1' : [1, 2, 3], 'col2' : [10, 11, 12], 'col6' : [20, 31, 12]})
如果col3和col2在df1和df2中的值相同
浏览 4提问于2016-08-10得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
