Pandas df操作-将数据分解为2列
Pandas是一个强大的数据分析工具，它提供了丰富的函数和方法来处理和操作数据。在Pandas中，可以使用DataFrame来表示和处理数据。对于将数据分解为2列的操作，可以使用以下方法：
- 利用DataFrame的拆分函数
str.split()：可以使用该函数将一个包含字符串的列按照指定的分隔符拆分成多个列。例如，如果有一个包含姓名和姓氏的列，可以使用如下代码将其拆分成姓和名两列： - 利用DataFrame的拆分函数
str.split()：可以使用该函数将一个包含字符串的列按照指定的分隔符拆分成多个列。例如，如果有一个包含姓名和姓氏的列，可以使用如下代码将其拆分成姓和名两列： - 这里的
expand=True表示将拆分的结果作为新的列添加到原始的DataFrame中。 - 利用DataFrame的字符串提取函数
str.extract()：该函数可以根据指定的正则表达式从字符串列中提取满足条件的子串作为新列。例如，如果有一个包含邮件地址的列，可以使用如下代码将其拆分成用户名和域名两列： - 利用DataFrame的字符串提取函数
str.extract()：该函数可以根据指定的正则表达式从字符串列中提取满足条件的子串作为新列。例如，如果有一个包含邮件地址的列，可以使用如下代码将其拆分成用户名和域名两列：
这样，就可以将数据分解为2列。需要注意的是，上述方法假设数据列中的每个元素都能被成功拆分成两部分，如果无法拆分或者拆分后的结果不满足要求，可能需要进行额外的处理或者使用其他方法。
对于Pandas的相关操作和更多详细信息，你可以参考腾讯云官方提供的Pandas相关文档和教程：
相关·内容
1回答
我有以下数据结构
+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
EMP_ID ¦ ATTR1_OLD_VAL ¦
浏览 0提问于2019-12-07得票数 0
对不起，这可能是一个非常简单的问题，但我对python/json和其他方面都很陌生。我正在尝试根据user_location/country_code/gb过滤我的twitter json数据集。但我不知道该怎么做。我试过几种方法，但还是没有机会。我已经附上了我的数据集和我在这里使用的一些代码。我很感谢你的帮助。
下面是我为获得最好的结果所做的事情，但是我不知道如何告诉它去获取整个数据集并打印出tweet_id的结果：
import json
import pandas as pd
df = pd.read_json('example.json', lines=True)
浏览 3提问于2020-07-30得票数 1
回答已采纳
我想做一个涉及DataFrame的多个列的pandas.rolling_apply。
我可以使用DataFrame "df“中的一列来实现，如下所示：
a = pd.Series(np.random.randn(12))
pd.rolling_apply(df['Col1'], 12, lambda x: x@a.values, min_periods=12)
但我真的希望将数据帧的两个列合并到rolling_apply中。下面这样的事情是可能的吗？
pd.rolling_apply(df, 12, lambda x: x['Col1']@a.value
浏览 59提问于2017-12-14得票数 0
回答已采纳
1回答
我有一只熊猫数据，有一个分层的行索引。
def stack_example():
i = pd.DatetimeIndex([ '2011-04-04',
'2011-04-06',
'2011-04-12', '2011-04-13'])
cols = pd.MultiIndex.from_product([['milk', 'honey'],[u'jan', u
浏览 3提问于2017-11-03得票数 0
回答已采纳
1回答
根据条件逐行添加列值
、、、
我有一个带有一些Score的pandas数据帧。现在，我想检查每个Name，看看Score是否有所改善。 如果Name的Score确实改进了，我想写1 -否则就写0。如果之前没有可用于Name的Score，我想编写NaN 所以我的数据帧看起来是这样的： import pandas as pd
import numpy as np
first = {
'Date':['2013-02-28','2013-03-29','2013-05-29','2013-06-29',
浏览 16提问于2019-08-24得票数 0
回答已采纳
我是在一个大型csv文件(6mm+)上运行这个文件的。
如果我注释掉了条件.loc，那么脚本可以正常工作，所以它不是文件加载问题。，如果我使用较小的文件，则脚本工作良好，即使使用条件.loc，所以我认为没有代码错误。
由于某些原因，似乎MemoryError是在将条件.loc应用于大型数据格式列时出现的。
在使用条件MemoryError时，任何关于如何克服.loc的帮助都将不胜感激。
columns = ['Date', 'Time', 'Open', 'High', 'Low', 'Close'
浏览 1提问于2020-07-28得票数 0
我必须创建一个函数，该函数将所提供的数据帧分割成所需大小的块。例如，如果dataframe包含1111行，我希望能够指定400行的块大小，并获得三个较小的dataframe，大小分别为400、400和311。有没有方便的函数来做这项工作？存储和迭代切片数据帧的最佳方式是什么？
示例DataFrame
import numpy as np
import pandas as pd
test = pd.concat([pd.Series(np.random.rand(1111)), pd.Series(np.random.rand(1111))], axis = 1)
浏览 0提问于2015-10-27得票数 35
回答已采纳
我有一个列为"team_name“的数据帧"df1”。我有一个不同的数据帧"df2“，有两列："city”作为字符串，"teams“作为列表。我想在df1中创建一个名为"team_city“的新列，通过查找"teams”列中列表包含“team_name”的行，可以在df2的" city“列中找到城市名称。 (例如:如果"team_name“等于"Denver"，我希望在df2中找到"teams”包含“Denver”的行，然后在该行中提取"team_city“的值。) 我目前正在对df1中的
浏览 14提问于2021-07-09得票数 0
2回答
我有一个数据帧，它要求列的子集具有具有多个值的条目。下面是一个包含“runtime”列的dataframe，其中包含程序在各种条件下的运行时：
df = [{"condition": "a", "runtimes": [1,1.5,2]}, {"condition": "b", "runtimes": [0.5,0.75,1]}]
df = pandas.DataFrame(df)
这就形成了一个数据帧：
condition runtimes
0 a [1,
浏览 0提问于2014-11-08得票数 8
回答已采纳
我有一个熊猫数据框架，它有一些列。如果列没有显示在列表中，我想删除这些列。 pandas数据框列： list(pandas_df.columns.values) 结果： ['id', 'name' ,'region', 'city'] 和我期望的列名： final_table_columns = ['id', 'name', 'year'] X次运算后的结果应该是： list(pandas_df.columns.values)
['id', 'name&#
浏览 18提问于2019-07-05得票数 13
回答已采纳
3回答
我有一个有一个列的数据框架，该列是包含地址信息的列表列表。
我的数据：
import pandas as pd
data = [['location1', [(123, 'Number'),('Main', 'Street'),('New York', 'City')]], ['location2', [('Broadway', 'Street'),('New York', 'City'),(11111, 'Z
浏览 2提问于2021-08-20得票数 0
回答已采纳
假设我有一个pandas数据框架，其中包含一个假设调查的答案。有两个问题：“美国国旗上的哪种颜色是你最喜欢的(你可以选择不止一种)？”和“你的月薪是多少？”第一个问题有几种可能的答案： 1. red, white, blue
2. red, white
3. red, blue
4. red
5. white, blue
6. white
7. blue 我想要得到在第一个问题的答案中分别包括红色、白色和蓝色的所有人的平均工资价值。我想得到这样的东西： FlagColor Salary
red 4345
white 3444
blue 2356 我得到了所有选
浏览 28提问于2020-12-22得票数 1
我试图在一只熊猫DataFrame中存储几个估计值，但我经常遇到这样的错误：
AttributeError：“RandomForestClassifier”对象没有属性“estimators_”
最初，我认为这是因为它试图将估计器复制到几行，但是，我能够用以下代码复制错误：
pd.DataFrame({
"foo" : "bar",
"model" : RandomForestClassifier()
})
我还尝试将估值器类保存在字典中，并在dataFrame中实例化它，如下所示：
d = {"rf" : R
浏览 22提问于2022-06-21得票数 2
回答已采纳
import pandas as pd
d = {
"tags": pd.Series([["a", "b"], ["a"], ["b", "c"], ["a", "c"], []]),
"value": pd.Series([0, 2, 1, 4, 3]),
}
df = pd.DataFrame(d) 我想选择所有带有"c“的行作为"tag”列中的一个元素(就像在df.loc[INSERT_FUNCTION_HE
浏览 38提问于2020-08-08得票数 2
12回答
我使用pandas.to_datetime来解析数据中的日期。默认情况下，Pandas使用datetime64[ns]表示日期，即使日期都是每天。我想知道是否有一种优雅/聪明的方法将日期转换为datetime.date或datetime64[D]，这样，当我将数据写入CSV时，日期不会附加00:00:00。我知道我可以逐个元素地手动转换类型：
[dt.to_datetime().date() for dt in df.dates]
但这真的很慢，因为我有很多行，这有点违背了使用pandas.to_datetime的目的。有没有办法一次转换整个列的dtype？或者，pandas.to_datet
浏览 0提问于2013-04-24得票数 314
我不想学习Pandas语法，这需要一些时间，我想使用我现有的SQL技巧来操作Python中的Pandas数据格式。
由于各种原因，我的数据已经在Pandas的数据中了。
如果有人知道答案，你能给我举个简单的例子让我开始吗？如下所示，我猜：
import sqlalchemy
query = """
select
trunc(date, 'MM') as month
, avg(case when hour_ending > 7 and hour_ending < 24 then volume els
浏览 1提问于2018-01-22得票数 0
回答已采纳
4回答
我有如下时间序列数据：
1998-01-02 09:30:00,0.4298,0.4337,0.4258,0.4317,6426369
1999-01-02 09:45:00,0.4317,0.4337,0.4258,0.4298,10589080
2000-01-02 10:00:00,0.4298,0.4337,0.4278,0.4337,9507980
2001-01-02 10:15:00,0.4337,0.4416,0.4298,0.4416,13639022
我想要的是年数的list，
years = list['1998'.'1999','
浏览 0提问于2019-02-20得票数 3
1回答
python群回归后的元组解压
、、、、
我在按小组进行回归。我输出系数和每一组的全部残差向量。这导致元组具有不同大小的“元素”。
目前，我很难将它解压缩成两个独立的、可行的数据框架：
import numpy as np
import pandas as pd
import statsmodels.api as sm
# simple regression
def regress(data, yvar, xvars):
Y = data[yvar]
X = data[xvars]
X['intercept'] = 1.
result = sm.OLS(Y, X, missing=&#
浏览 8提问于2022-07-11得票数 0
我试图对财务数据进行时间序列数据分析，并希望进行季节性分解。
from statsmodels.tsa.seasonal import seasonal_decompose
import pandas as pd
import datetime
import pandas_datareader as data
df = data.get_data_yahoo('UGA', start=everSince, end=today)
df_close = df[['Close']]
result = seasonal_decompose(df_close, model
浏览 2提问于2021-10-26得票数 0
在python中，我正在尝试找到最快的方法来散列pandas数据帧中的每个值。
我知道任何字符串都可以使用以下命令进行散列：
hash('a string')
但是如何在pandas数据框的每个元素上应用这个函数呢？
这可能是一件非常简单的事情，但我刚刚开始使用python。
浏览 0提问于2015-05-10得票数 13
回答已采纳
1回答
我正在尝试解压以下pandas数据帧中的嵌套JSON：
id info
0 0 [{u'a': u'good', u'b': u'type1'}, {u'a': u'bad', u'b': u'type2'}]
1 1 [{u'a': u'bad',
浏览 0提问于2016-11-20得票数 6
回答已采纳
我想通过loc将一个dataframe的数据添加到新的dataframe中。我使用了"loc“，但出现了一个错误。我可以添加数据吗？
>>> import pandas as pd
>>> df = pd.DataFrame({'A': [1.0, 1.2, 3.4, 4.1, 8.2]})
>>> import pandas as pd
>>> df_new = pd.DataFrame(columns=['A'])
>>> for i in df:
..
浏览 1提问于2017-12-12得票数 1
我正在使用pandas通过SQLalchemy将数据写入SQL数据库。 我将数据加载到DataFrame，然后使用to_sql()方法。 pandas to_sql()方法会回滚吗？例如，如果在将数据插入数据库的过程中发生错误，我可以将其回滚到原始数据吗？
浏览 175提问于2020-08-09得票数 1
回答已采纳
2回答
数据熊猫每行地形图
、、、
我有一个很大的Pandas数据，有很多列，我需要绘制一张每行的图表。
现在，我的代码中包含了以下内容：
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
[...]
df = pd.DataFrame() # DataFrame with 13 columns
for index,row in df.iterrows():
df2 = pd.DataFrame(row)
plt.set_title(row)
plt.bar(df2)
plt.savefig('
浏览 2提问于2020-03-18得票数 0
回答已采纳
2回答
我需要对存储在pandas.DataFrame中的数据集执行n折叠(在我的特殊情况下是5倍)交叉验证。我现在的方式似乎是重新排列行标签；
spreadsheet1 = pd.ExcelFile("Testing dataset.xlsx")
dataset = spreadsheet1.parse('Sheet1')
data = 5 * [pd.DataFrame()]
i = 0
while(i < len(dataset)):
j = 0
while(j < 5 and i < len(dataset)):
浏览 3提问于2021-03-04得票数 0
回答已采纳
2回答
我想在pandas数据帧中使用fillna，但仅用于'object‘数据类型。
我相信下面的方法是可行的，但是如果不需要的话，我希望避免使用concat。
import pandas as pd
new_df = pd.concat([df.select_dtypes(exclude='object'),
df.select_dtypes('object').fillna('')], axis=1)
浏览 4提问于2019-07-29得票数 1
我有一个推文的数据框架，我正在尝试清理我的“tweet”列-删除停用词并使用词汇化。 下面是我的代码： stop_words = set(stopwords.words('english'))
lemmatizer= WordNetLemmatizer()
sentence = df['tweet'].apply(nltk.sent_tokenize)
0 [ 'country year happy']
1 [ 'wish happy year']
2 [ 'live year together']
浏览 49提问于2020-07-27得票数 0
我正在编写一些代码来预测股票市场，使用机器学习和深度学习技术。但是，当我尝试使用线性回归时，我得到了一个似乎无法修复的错误。我的数据是某一家公司的股票。特点是日期，开放，低，高，关闭，最后，成交量和总贸易量。
我已经看过关于堆栈溢出问题的类似答案，但是他们使用的技术不起作用。
#setting index as date
df['Date'] = pd.to_datetime(df.Date,format='%Y-%m-%d')
df.index = df['Date']
#sorting
data = df.sort_index(ascend
浏览 0提问于2019-08-10得票数 2
对于filteredData.csv中的每个名称，计算每月的平均雪量。将结果保存在两个单独的.csv文件中(一个用于2016年，另一个用于2017年)，将文件命名为average2016.csv和verage2017.csv。 我正在使用Python 3.8和pandas。我试过了： df = pd.read_csv('filteredData.csv')
g = df.groupby([df.DATE.dt.year, df.DATE.dt.month, 'NAME'])['SNOW'].mean().reset_index().sort_v
浏览 3提问于2020-04-09得票数 1
1回答
我有一个大约8700万行的Pandas数据帧。为了对其进行一些处理，我将其设置为Dask数据帧。问题是我需要做Dask不支持的unstack和plot。我已经将Dask数据帧写入h5文件，但在尝试将其作为Pandas数据帧读取时遇到内存问题。我在将Dask DF转换为Pandas时也遇到了内存错误。
从本质上讲，我尝试做的是df2 = df.groupby(['A','B'])['B'].count().unstack('A')，然后是df2.plot(kind = 'bar', stacked = True)。
浏览 2提问于2020-04-22得票数 2
1回答
所以我有一个问题，就是我用Python和Pandas创建的图表没有显示我的时间线
如您所见，它没有显示数据写入数据库的时间。我的数据库是这样的：
id hum temp time date
1 74 23 15:35:22 2020-06-17
2 81 23 15:37:28 2020-06-17
这是我的密码：
import matplotlib.pyplot as plt
import pandas as pd
from datetime import date, datetime
from pandas im
浏览 3提问于2020-06-17得票数 1
回答已采纳
1回答
我的问题是，如果我使用两个函数，这段代码就不接受两个输入参数。
我尝试从第二个函数中插入和删除click命令和单击选项，但我总是看到主应用程序要求附加参数(需要给出2)，或者代码没有执行第二个函数。( "add_new_column“)
我在这里做错什么了？
import pandas as pd
@click.command()
@click.option('--infile', prompt='Your input TSV filename', help='Write your tab separated value filename.&#
浏览 1提问于2019-03-10得票数 1
回答已采纳
如果我想找出一个至少有一个零值的pandas数据帧中的所有特性，那么我可以使用以下命令。
df.isin([0]).sum()
这是简单而优雅的。找到具有负值的特征的等价物是什么？
似乎没有简单的方法来找出pandas数据帧中至少有一个负值的所有列。你能帮帮忙吗？在此之前，非常感谢您。
浏览 0提问于2020-10-01得票数 0
2回答
我正在尝试计算数据帧中每一列的最大和最小长度，该数据帧中有一些缺失值。Pandas将这些缺失值视为"NaN“，并将长度计为3。如何在计算最大和最小长度时完全忽略缺失值？下面是我的代码： import pandas as pd
columnname=[]
maxColumnLenghts = []
minColumnLenghts=[]
for colname in df.columns:
columnname.append(colname)
for col in range(len(df.columns))
浏览 51提问于2020-11-06得票数 1
回答已采纳
2回答
函数在熊猫数据帧列中的应用
、、、、
这样做是正确的：
import pandas as pd
def fnc(m):
return m+4
df = pd.DataFrame({"m": [1,2,3,4,5,6], "c": [1,1,1,1,1,1], "x":[5,3,6,2,6,1]})
df
# apply a self created function to a single column in pandas
df["y"] = df['m'].apply(fnc)
df
我试着修改上面的代码。在这里，我需要将列m值添加到
浏览 2提问于2020-07-04得票数 1
回答已采纳
我知道这可能是一个古老的争论，但是在pandas.drop和python del函数中，哪个函数在大数据集上的性能更好？
我正在使用python 3学习机器学习，但不确定该使用哪一个。我的数据是pandas数据帧格式。但是python del函数在python的built-in function中。
浏览 0提问于2017-11-22得票数 18
2回答
我很难理解如何使用subprocess来解决我的问题。
假设我的子目录中有一个以制表符分隔的文本文件tabdelimited1.txt，我想将其读入到pandas数据帧中。
当然，您可以简单地导入数据，如下所示：
import pandas as pd
df = pd.read_csv("tabdelimited1.txt", header=None, sep="\s+")
但是，假设我们想要使用subprocess。在命令行中，$cat tabdelimited1.txt将输出所有行。
现在，我想使用子进程来读取cat tabdelimited1.txt的输出
浏览 0提问于2016-10-05得票数 4
回答已采纳
我使用pandas写了一个函数来对数据进行下采样，但是我的一些数据集不适合内存，所以我想用dask尝试一下，这是我现在拥有的工作代码： def sample_df(df,target_column = "target",positive_percentage = 35,index_col="index"):
"""
Takes as input a data frame with imbalanced records, e.g. x% of positive cases, and returns
a datafr
浏览 12提问于2020-01-03得票数 1
我有一个输入数据input_df，如下所示：
+---------------+--------------------+
|Main_CustomerID| Vector|
+---------------+--------------------+
| 725153|[3.0,2.0,6.0,0.0,9.0|
| 873008|[4.0,1.0,0.0,1.0,...|
| 625109|[1.0,0.0,6.0,1.0,...|
| 817171|[0.0,4.0,0.0,7.0,...|
|
浏览 0提问于2018-06-26得票数 1
回答已采纳
2回答
我有一些期权的数据，我想用看涨或看跌期权的条件来绘制数据。以下数据如下所示：
underlying_last exchange ... IVBid IVAsk
underlying ...
BP 39.00 * ... 0.0000 4.0743
BP 39.00 * ... 0.0000 3.0846
BP 39.
浏览 20提问于2020-02-14得票数 0
回答已采纳
我有一个很大的Pandas数据帧，我想找出最大值所在的列和行(在整个数据帧中)。不幸的是，df.idxmax()只返回每行/列的最高值的索引，而不是整个数据帧的索引。有没有办法做到这一点？
浏览 136提问于2021-07-28得票数 2
回答已采纳
我正在处理不完整的数据，这些数据围绕着不同数据结构的文件进行拆分。因此，我用np.where编写了一个脚本来检查列名中是否有键，以及是否在df中写入em。我在np.where中使用了pandas，它提高了KeyError。示例： df['col_result'] = np.where('col1' in df.columns, df['col1'], 'None')
KeyError Traceback (most recent call last)
~\ana
浏览 29提问于2021-10-13得票数 0
2回答
我有一个这样的熊猫数据框架：
df = pandas.DataFrame({
'Grouping': ["A", "B", "C"],
'Elements': ['[\"A1\"]', '[\"B1\", \"B2\", \"B3\"]', '[\"C1\", \"C2\"]']
}).set_index('Grouping
浏览 0提问于2018-05-09得票数 3
回答已采纳
1回答
我正在创建一个小的Pandas数据帧： df = pd.DataFrame(data={'colA': [["a", "b", "c"]]}) 我把那个df拷贝了一遍。我使用的不是Pandas方法，而是通用Python，对吧？ import copy
df_copy = copy.deepcopy(df) 一个df_copy.head()提供以下内容： ? 然后我将这些值放入字典中： mydict = df_copy.to_dict() 字典看起来是这样的： ? 最后，我删除了列表中的一项： mydict['colA&#
浏览 42提问于2020-01-10得票数 3
回答已采纳
如何才能得到相同维度的两个pandas数据帧之间的差异： import pandas as pd
df1 = pd.DataFrame({
'x': ['a', 'b', 'c', 'd', 'e'],
'y': [1, 1, 1, 1, 1],
'z': [2, 2, 2, 2, 2]})
print(df1)
df2 = pd.DataFrame({
'x': ['
浏览 9提问于2021-09-02得票数 1
回答已采纳
5回答
我有多个熊猫数据帧(超过70个)，每个都有相同的列。假设每个数据帧中只有10行。我希望在每个数据帧中找到列A‘值，并列出它。示例：
# Import pandas library
import pandas as pd
# initialize list of lists
data = [['tom', 10], ['nick', 15], ['juli', 14]]
# Create the pandas DataFrame
df = pd.DataFrame(data, columns = ['Name'
浏览 11提问于2020-09-06得票数 0
回答已采纳
我有一个数据集，并且我想更改名为"Last Updated“的列的格式。 DB['Last Updated'].head()
0 January 7, 2018
1 January 15, 2018
2 August 1, 2018
3 June 8, 2018
4 June 20, 2018
Name: Last Updated, dtype: object 我想使格式类似于7/1/2018，所以我用python写了以下内容。 DB['Last Updated'] = pd.to_da
浏览 23提问于2019-01-23得票数 1
我正在考虑在PySpark (v3)中使用Pandas UDF。由于许多原因，我知道迭代和自定义定义函数通常是不好的，我也知道我在这里展示的简单示例可以使用SQL函数来完成PySpark -所有这些都不是重点！ 我一直在遵循这个指南：https://databricks.com/blog/2020/05/20/new-pandas-udfs-and-python-type-hints-in-the-upcoming-release-of-apache-spark-3-0.html 我有一个来自文档的简单示例： import pandas as pd
from typing import It
浏览 19提问于2020-06-30得票数 0
回答已采纳
我有一个CSV文件，如下所示： Longitude Latitude Value
-123.603607 81.377536 0.348
-124.017502 81.387791 0.386
-124.432344 81.397611 0.383
-124.848099 81.406995 0.405
-125.264724 81.415942 --
... ... ... 我有一个代码，它使用勾股定理来删除纬度/纬度不在点(-111.55,75.6)半径0.7经度/纬度内的
浏览 5提问于2019-12-21得票数 0
回答已采纳
我从一个api响应中获得了这个dataframe，它为我提供了列中的另一个数据体，如下所示：
输出它的源代码是：
fill = client.get_fills()
fills = pd.DataFrame(fill)
fills = fills['items']
print(fills)
是否有一个pandas函数可以将其中一些值提取到列中？如果不是，那么最有效的方法是什么？
浏览 1提问于2020-06-25得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
