用DataFrame中其他地方可能存在的值填充缺失的值？
在DataFrame中填充缺失值的方法有很多种，可以根据具体情况选择合适的方法。以下是几种常见的填充方法：
- 使用固定值填充：可以使用一个固定的值来填充缺失值，例如使用0、-1或者特定的字符串等。这种方法适用于缺失值的含义不重要或者无法确定的情况。
- 使用均值、中位数或众数填充：对于数值型的特征，可以使用该特征的均值、中位数或众数来填充缺失值。这种方法适用于缺失值的分布近似正态分布或者偏态分布的情况。
- 使用前后值填充：可以使用缺失值前后的有效值来填充缺失值。这种方法适用于数据具有一定的时序关系的情况。
- 使用插值方法填充：可以使用插值方法来填充缺失值，例如线性插值、多项式插值、样条插值等。这种方法适用于数据具有一定的连续性和趋势性的情况。
- 使用机器学习模型填充：可以使用机器学习模型来预测缺失值，并将预测结果作为填充值。这种方法适用于数据之间存在一定的相关性和模式的情况。
对于DataFrame中的缺失值填充，可以使用Pandas库提供的fillna()函数来实现。具体使用方法可以参考腾讯云的文档：fillna函数使用说明。
需要注意的是，不同的填充方法适用于不同的数据情况，选择合适的填充方法可以提高数据的准确性和可靠性。
相关·内容
有一个具有一些DataFrame值的NaN：
df = pd.DataFrame({'A': [1, 1, 1, 1, 2, 2, 2, 2], 'B': [1, 1, np.NaN, 2, 3, np.NaN, 3, 4]})
A B
0 1 1.0
1 1 1.0
2 1 NaN <-
3 1 2.0
4 2 3.0
5 2 NaN <-
6 2 3.0
7 2 4.0
将标签'A‘设置为索引：
df.set_index(['A'], inplace=True)
现在有两组指数
浏览 4提问于2017-01-17得票数 2
回答已采纳
用列表中的项填充dataframe中缺少的值的最佳方法是什么？例如：
pd.DataFrame([[1,2,3],[4,5],[7,8],[10,11,12],[13,14]])
0 1 2
0 1 2 3
1 4 5 NaN
2 7 8 NaN
3 10 11 12
4 13 14 NaN
list = [6, 9, 150]
得到这样的东西：
0 1 2
0 1 2 3
1 4 5 6
2 7 8 9
3
浏览 3提问于2015-10-15得票数 2
回答已采纳
我想将空行(用np.NaN填充)附加到熊猫的dataframe中，并且目前只知道如何使用loc进行此操作。
T = pd.DataFrame(index=['a', 'b', 'c'], data={'Col0': 0, 'Col1': 1})
T
Col0 Col1
a 0 1
b 0 1
c 0 1
missing = ['d', 'e']
for m in missing:
T.loc[m] = np.NaN
浏览 7提问于2017-01-20得票数 9
回答已采纳
大多数教科书说，要填充缺失的值，使用的是均值/中值(数字)和最频繁的(分类)，但我使用的是一个数据集，它有太多的缺失值，而且我不能删除这些列，因为它们很重要。
train.isnull().sum()
TransactionID 0
isFraud 0
TransactionDT 0
TransactionAmt 0
ProductCD 0
...
id_36 449555
id_37 44955
浏览 0提问于2020-03-17得票数 0
回答已采纳
我对altair互动图有点问题。下面是代码的一小部分。
import pandas as pd
import altair as alt
import numpy as np
import random
n=300
dat = pd.DataFrame()
dat['X_axis'] = np.linspace(start=0.0, stop=1000, num = n)
mean = 4
std = 1
dat['Y_axis']=np.random.normal(loc=mean, scale=std, size = n)
dat['anom
浏览 2提问于2020-03-27得票数 1
1回答
获得Dataframe df
State Item Space Date
AAA Grape 0.125 2022-02-11
Beans 0.0
AAA Mango 0.25 2022-02-11
AAA Beetroot 0.375 2022-02-11
Carrot 0.5
需要用该列的唯一值填充行中的空值。试过df['State'].fillna(df['State'].unique(), inplace=Tru
浏览 7提问于2022-02-18得票数 0
我试着用每一栏的随机数据来填写熊猫的数据，而这些随机数据出现在每一栏中，而每一栏都会显示出这种随机数据的频率。我有这个：
def MissingRandom(dataframe):
import random
dataframe = dataframe.apply(lambda x: x.fillna(
random.choices(x.value_counts().keys(),
weights = list(x.value_counts()))[0]))
r
浏览 0提问于2020-12-01得票数 3
1回答
在索引i处插入一行数据
、、、、
在熊猫问题上我需要你的帮助
我目前正在通过API提取数据，这些API包含了它们之间的差距。
但是，我需要考虑数据集上的这些问题，用平均值替换它们。
然后，我需要在dataframe中插入一行来填充dataframe。
说明：
以下是我的问题所在：
rank timestamp value
0 1 21:50 3450
1 4 21:40 3442
2 5 21:41 5964
3 6 14:27 5258
4 7 13:10 3001
5 8 14:02 2782
2级和3级失踪
所以，这就是
浏览 0提问于2019-05-27得票数 1
回答已采纳
我有两个DataFrame A和B作为-
table_a = pd.DataFrame({
'unique_id':[3823762,3976695,4199277,4201777,4202712],
'full_name':['A','B','C','D','E'],
'freq_match_it':[np.NaN,np.NaN,np.NaN,np.NaN,np.NaN],
'address':['hyd
浏览 10提问于2022-03-11得票数 0
回答已采纳
我喜欢在pandas dataframe中填充na，其中dataframe中的两列都在同一行上。 A B C
2 3 5
Nan nan 7
4 7 9
Nan 4 9
12 5 8
Nan Nan 6 在上面的数据框中，我希望将列A和列B都有Nan的行替换为“不可用”。 因此： A B C
2 3 5
Not available not available 7
4 7 9
Nan 4 9
12 5 8
Not available not available 6 我尝试了多种方法，但得到了不想要的结果
浏览 16提问于2020-10-12得票数 0
1回答
给定以下DataFrame
A B
0 -10.0 NaN
1 NaN 20.0
2 -30.0 NaN
我希望合并列A和B，用来自列B的值填充列A中的NaN单元格，然后删除列B，从而生成如下所示的DataFrame：
A
0 -10.0
1 20.0
2 -30.0
我通过使用iterrows()函数解决了这个问题。
完整的代码示例：
import numpy as np
import pandas as pd
example_data = [[-10, np.NaN], [np.NaN, 20], [-30, np.NaN]]
exampl
浏览 0提问于2019-05-08得票数 1
回答已采纳
我有一个DataFrame，它的列名为age,salary。还有一些NaN值。我想使用Mean和Median填充这些值。
原始DataFrame
age salary
0 20.0 NaN
1 45.0 22323.0
2 NaN 598454.0
3 32.0 NaN
4 NaN 48454.0
使用apply().<code>E 227</code>，用mean() 和 salary 与 median() 分别填充缺失的。
我用过
df['age','salary'].apply({'ag
浏览 2提问于2019-09-28得票数 0
回答已采纳
1回答
我想在这里执行空值分析。在这里，我提到了数据集的前两行 Shop_name Bikes_avaiable Shop_location Average_price_of_bikes Rating_of_shop
NYC Velo Ninja,hbx Salida 5685$ 4.2
Bike Gallery dtr,mtg,Harley Davidson Por
浏览 16提问于2020-06-28得票数 0
1回答
我从雅虎财务公司(YahooFinancials)那里得到了亚马逊股票(Amazon)的数据，但有些日子还没有数据。
我想知道是否有一种方法，使用google collab，然后“创建”那些缺失的日子，并用相邻日子的平均值来填充它们。
我想使用数据最近的日子，在缺失天数之前和之后，为缺失的日子创建数据。
我看过很多松懈的答案，但我找不到具体的答案。看起来最接近的命令是：ws = Amazon.worksheet('Amazon') idx = pd.date_range(start = '05-15-1997', end = '07-05-20
浏览 0提问于2019-07-11得票数 0
回答已采纳
正在尝试基于以下条件在我的数据框中创建新列： dataFrame01['final'] = dataFrame01.apply(lambda x: x['Name'] if x['Eval'] == 'NAN' else x['Eval'], axis=1) 但是每次只执行ELSE块时，我指的是来自else条件的值被填充，而不是来自IF条件。请帮助我，让我知道我在这里做错了什么。
浏览 7提问于2020-04-29得票数 0
回答已采纳
1回答
我有一个dataframe，其中有一列日期和值，如下所示： date value
2019-01-01 10
2019-01-02 15
NaT 20
NaT 30
2019-01-05 40
2019-01-06 45 没有预定义的2019-01-03和2019-01-04，如何自动填充NaT？
浏览 13提问于2019-09-02得票数 3
回答已采纳
2回答
如何选择是丢弃NaN值，还是用数据集中的平均值(或中位数)填充它？还有什么其他技术可以清除数据集中的缺失值？让数据为数字。(在python中)
浏览 0提问于2018-05-29得票数 2
1回答
我试图对一些变量进行多重逻辑回归，这些变量在单因素分析的疾病条件下具有统计学意义。因为我们的样本尺寸是300左右，所以我们把它作为p<0.2。我为这些变量做了一个新的数据
regression1df <- data.frame(dgfcriteria, recipientage, ESRD_dx,bmirange,graftnumber, dsa_class_1, organ_tx, transfuse01m, transfuse1yr, readmission1yr, citrange1, switrange, anastamosisrange, donorage, donorg
浏览 1提问于2020-11-14得票数 0
回答已采纳
3回答
我想要一个像这样的数据框。
a b
cars New
bikes nan
trains nan
假设如下..。
list(oldDF["Transportation"].unique())=["cars", "bikes", "trains"]
list(oldDF["Condition"].unique())=["New"]
我的代码现在是这样的：
newList=["Transportation", "Condition"
浏览 0提问于2019-08-06得票数 2
回答已采纳
我试图用一些默认的文本值填充NA的值。
这是我的df1
data = [['Alex','10'],['Bob','12'],['Clarke','13']]
df1 = pd.DataFrame(data,columns=['Id','Age'])
这是我的df2
data = [['Alex','10'],['Clarke','13']]
df2 = pd.DataFrame(data,columns
浏览 0提问于2019-02-11得票数 1
回答已采纳
具有两个数据帧： df1 = pd.DataFrame({'a':[1,2,3],'b':[4,5,6]})
a b
0 1 4
1 2 5
2 3 6
df2 = pd.DataFrame({'c':[7],'d':[8]})
c d
0 7 8 目标是将所有df2列值添加到df1中，重复并创建以下结果。假设两个数据框不共享任何列名。 a b c d
0 1 4 7 8
1 2 5 7 8
2 3 6 7 8
浏览 33提问于2020-08-25得票数 2
回答已采纳
1回答
在两个数据文件之间查找
、、、、
我有一个来自API响应的数据文件，如下所示：
但是，API可以提供更多的变量，如街道、方向等，因此，我需要从API响应中创建一个输出，该响应自动定义null。如下所示
为此，我创建了输出中我想要的所有变量的列表，并尝试并将API响应dataframe与输出数据want匹配。
如有任何帮助，将不胜感激。
提前感谢
浏览 0提问于2022-06-08得票数 1
回答已采纳
2回答
我研究了特征工程中Kaggle的fill null方法。一些玩家用另一个对象值填充NA。
例如，在性别列中有‘男性’、‘女性’和NA值。该方法是用另一个对象值填充NA，比如“中间”。在此之后，它处理没有任何null的性别属性，pandas也不会找到null。
我想知道这种方法对机器学习模型的性能有很好的影响，还是对特征工程有很好的影响？除此之外，在数据集中没有知识发现的情况下，有没有其他好的方法来填充NA？
浏览 0提问于2016-12-05得票数 1
2回答
我有个数据：
import pandas as pd
data = {'fruit': ['pear','pear','banana', 'pear', 'pear','apple', 'apple', 'cherry','cherry'],
'fruit_type': ['unknown','pear','unknown', 'unknown
浏览 3提问于2021-07-26得票数 1
回答已采纳
3回答
从字典键和值中填充数据
、、、
我以下面的数据为例。
df_test = pd.DataFrame(data=None, index=["green","yellow","red","pink"], columns=["bear","dog","cat"], dtype=None, copy=False)
我有下面的字典，其中的键和值是相同的或与我的数据文件中的索引和列相关的。
d = {"green":["bear","dog"], "yellow
浏览 0提问于2018-10-16得票数 4
回答已采纳
我有一个数据集，其中缺少值，但是它不是XGBClassifier的问题。它可以动态地为您填充值。在XGBClassifier填充功能时，我想保存它们。我的目标是使用XGBoost来估算丢失的数据，然后我将尝试另一种不允许NaN值的算法。这有可能吗？
浏览 8提问于2020-05-02得票数 0
回答已采纳
我的数据帧包含一个分类特征'Street‘，它可以接受两个可能的值'Grvl’或'Pave‘中的一个。我正在尝试在拟合ML算法之前将这个分类特征转换为数值。我的代码如下所示
dataset['Street']=dataset['Street'].map({'Grvl':0,'Pave':1}).astype(int)
我已经用数据帧中出现次数最多的值填充了缺少的值
dataset['Street'].isnull().sum()
我收到以下错误
ValueError
浏览 6提问于2017-07-25得票数 1
1回答
我有一个DataFrame，它看起来像这样：
>> pd.DataFrame([["Anne", True, 1, "A"],["Bert", True, None, "B"],["Conan", False, 0, None],["Bert", None, None, None],["Conan", None, None, "C"],["Bert",None,2,None]], columns = ["Name",
浏览 1提问于2020-05-28得票数 1
回答已采纳
我有一个数据帧 df = pd.DataFrame([1,5,8, np.nan,np.nan], columns = ["UserID"]) 我想用从最高值+1开始的下一个序列号填充np.nan df.UserID的预期结果 [1, 5, 8, 9, 10]
浏览 9提问于2019-05-10得票数 1
回答已采纳
3回答
我有以下数据结构。在每组中，一些观察结果缺少value。我知道每个组只有一个非缺失值(在本例中，组1的值为10，组2的值为11 )。缺失观察值的位置在组内是随机的(即不能用前一个/后一个值填充缺失值)。
如何通过分组用一个非缺失值来填充缺失值？
group value
1 .
1 10
1 .
2 11
2 .
2 11
我目前的解决方案是循环，但我怀疑有一些聪明的bysort可以使用。
levelsof group, local(lm_group)
foreach group in `lm_group' {
浏览 3提问于2015-12-03得票数 4
1回答
输入数据：
df=pd.DataFrame({'A':['NBN 3','test text1','test text2','NBN 3.1 new text','test
1','test 2']},columns=['A','B'])
print(df)
A B
0 NBN 3
1 test text1
2 test text2
3 NBN 3.1
浏览 0提问于2019-08-28得票数 3
回答已采纳
1回答
我到处找过答案，但找不到。
我的目标：--我试图在一个DataFrame中填充一些缺失的值，使用监督学习来决定如何填充它。
我的代码如下所示：注释--这第一部分并不重要，它只是提供上下文
train_df = df[df['my_column'].notna()] #I need to train the model without using the missing data
train_x = train_df[['lat','long']] #Lat e Long are the inputs
train_y = t
浏览 2提问于2020-01-29得票数 0
回答已采纳
1回答
给了一只熊猫数据图：
foo = pd.DataFrame({'col0' : pd.Series([1,2,3]),
'col1' : pd.Series([4,5,6]),
'col2' : pd.Series([7,8,9])})
foo.index = ['row0', 'row1', 'row2']
foo
col0 col1 col2
row0 1 4 7
ro
浏览 1提问于2017-11-24得票数 2
回答已采纳
1回答
我有下面的熊猫DataFrame，它包含两列。第一列是包含缺失值(NaN值)的原始值，第二列是为填充第一列中的NaN值而缺少的计算结果。如何在用填充值显示原始值的同一图中绘制这两列，如下图所示：
Data=pd.DataFrame([[3.83092724, np.nan],
[ np.nan, 3.94103207],
[ np.nan, 3.86621724],
[3.48386179, np.nan],
[ np.nan, 3.7430167 ],
[3.2382959 , np.
浏览 0提问于2020-06-24得票数 1
回答已采纳
1回答
在一个非常大的数据集中，我希望在两个值之间填充NaN值。数据集如下所示： df = pd.DataFrame ({'col1':[1,2,3,4,5,6,7,8,9,10,11,12],
'col2':[100,np.nan,100,np.nan,np.nan,999,999,np.nan,100,np.nan,np.nan,100]}) 我只想填充那些出现在999和100之间的NaN值。预期输出为： df['col2'] = [100,np.nan,100,500,500,999,999,500,100,np
浏览 14提问于2021-10-19得票数 2
回答已采纳
我在自由式作业上定义了“活动选择反应参考参数”类型的参数。
它返回HTML文本输入-。但是，在填充了这些数据并按下"Build“之后，我无法获得这个文本字段的用户输入(用groovy或shell步骤尝试)，对于参数名称本身，我得到的是空字符串。
以某种方式获取以下字段VAPP_ID的值是可能的？假设得到"123“
这是这个格式化HTML的groovy脚本：
vappHtml = '''
<ul style="list-style-type: none">
<li>
<label for=
浏览 3提问于2020-06-23得票数 4
回答已采纳
1回答
截断字符串中的十进制数
、、、
奇怪的是，我有一个dataframe，让我们称它为ID。
然而，例如，我得到的不是10300，而是10300.0。此外，我也得到了字符串“南”。
为了解决这两个问题，我做了这些垃圾：
my_df['ID_1'].replace(['None', 'nan'], np.nan, inplace=True)
my_df[my_df['ID_1'].notnull()].ID_1.astype(float).astype(int).astype(str)
因此，我仍然有这10300.0的任何想法，如何解决这些？我可以在导入数据(而不是.
浏览 4提问于2022-07-06得票数 0
我有一个特定的要求，其中我需要检查空的DataFrame。如果为空，则填充默认值。这是我尝试过的，但没有得到我想要的。
def checkNotEmpty(df: org.apache.spark.sql.DataFrame, col: String):org.apache.spark.sql.DataFrame =
{
if (!df.rdd.isEmpty()) df
else
df.na.fill(0, Seq(col))
}
val age = checkNotEmpty(w_feature_md.filter("age='22'"
浏览 4提问于2016-09-16得票数 2
我在一些数据文件上使用了SimpleImputer。没有。计算的数据中的列的值小于原始数据。
cat_cols是DataFrame X_valid分类列的列表，有43个元素。
即原始DataFrame：
X_valid[cat_cols]
有146行×43列
推测的DataFrame：
cat_imputer=SimpleImputer(strategy='most_frequent')
pd.DataFrame(cat_imputer.fit_transform(X_valid[cat_cols]))
有146行×42列。
浏览 8提问于2021-12-24得票数 -1
1回答
如何处理丢失的日期数据？
、、、、
我有一个名叫GarageYrBlt的专栏，上面列出了那所房子建车库的年份。对于本专栏，我有一个nan值。用“泰坦尼克号”竞赛中缺少的年龄值填充它是否有意义(这是一种常见的方法)？
浏览 0提问于2019-07-05得票数 1
回答已采纳
2回答
请注意，实际情况--州与国之间的数量和组合--要大得多，而不仅仅是美国的
使用以下数据文件：
import pandas as pd
data = pd.DataFrame({'state':['ny','sf','tx','ny','ny'],'country':['usa','usa','usa','usa','usa'],
'Date':[&
浏览 0提问于2021-09-14得票数 1
回答已采纳
Python新手。我正在导入一个CSV，如果有任何数据丢失，我需要返回一个带有附加列的CSV，以指示哪些行缺少数据。我的同事建议我将CSV导入到一个数据帧中，然后创建一个带有"Comments“列的新数据帧，在其中填充对目标行的注释，并将其附加到原始数据帧中。我陷入了使用与"dfinput“匹配的正确行数填充新的dataframe "dferr”的步骤。 我搜索过"pandas csv return error column where data is missing"，但没有找到任何与创建标记坏行的新CSV相关的内容。我甚至不知道提出的方法是不是最好
浏览 14提问于2019-05-28得票数 0
回答已采纳
1回答
我的数据集名为ds_f，它是一个包含NaN值的840x57矩阵。我想用线性回归模型预测一个变量，但当我试图拟合这个模型时，我得到了这样的信息："SVD没有收敛“：
X = ds_f[ds_f.columns[:-1]]
y = ds_f['target_o_tempm']
model = sm.OLS(y,X) #stackmodel
f = model.fit() #ERROR
因此，我一直在寻找一个答案，将一个掩码应用到一个DataFrame。虽然我考虑创建一个掩码，以“忽略”NaN值，然后将其转换为DataFrame，但我得到了与ds_f相同的DataFrame，
浏览 4提问于2016-03-13得票数 0
回答已采纳
4回答
数据中缺失的值
、、、、
我曾经经历过，大多数数据集都包含缺失的值，这使我们的任务变得有些困难。
请让我知道如何有效地填充那些缺失的值？是否有任何特定的技术来处理丢失的值？
浏览 0提问于2017-08-31得票数 5
回答已采纳
我有一个时间序列数据集和2015-2022年期间的每日观测数据。然而，2015-2018年只有半年的数据:从1月到6月(7月至12月的所有日子都是NAs)。但2019-2022年的所有月份和所有日子都有日期。根据2019-2022年的数据，我想用缺少的几个月来填充所有的NA。换句话说，我想根据其他年份的现有数值计算缺失月份的每一天的平均值。然后，我需要用相应的计算方法来填充NA。
下面是创建一个DataFrame的代码，它表示我的数据集和存在的问题：
import numpy as np
import pandas as pd
np.random.seed(1)
rows,cols =
浏览 5提问于2022-09-21得票数 0
回答已采纳
令我惊讶的是，没有提供以下策略来填充缺失值:对于任何缺失值，从给定值中均匀随机采样一个值并进行替换。
我假设这是一种比用均值、最频繁或中值替换更好的策略，因为它不会在值分布中产生人为的尖峰。
我需要自己写一个转换器来做这件事吗？
ps。在更多元级别的讨论中，当我在scikit-learn这样的库中找不到我认为是直接的、几乎是标准的操作作为组件时，我总是感到有点困惑。这让我想知道:这个库是非常未完成的，还是我正在尝试做一些违反最佳实践的事情？有什么建议吗？
浏览 36提问于2017-03-17得票数 3
这是原始的Dataframetols：
我想要的:，我想把上面的数据帧转换成这个多索引的列数据框架：
我通过这段代码成功地做到了这一点：
# tols : original dataframe
cols = pd.MultiIndex.from_product([['A','B'],['Y','X']
['P','Q']])
tols.set_axis(cols, axis = 1, inplace = False)
我尝试了什么:，我尝试用reindex方法这样做：
cols = pd
浏览 1提问于2019-08-27得票数 2
回答已采纳
我使用不同的方法探索pandas.DataFrame.interpolate()，linear和nearest，当尾部有缺失数据时，我发现这两种方法的输出不同。 例如： import pandas as pd # version: '0.16.2' or '0.20.3'
>>> a = pd.DataFrame({'col1': [np.nan, 1, np.nan, 3, np.nan, 5, np.nan]})
Out[1]:
col1
0 NaN
1 1.0
2 NaN
3 3.0
4 Na
浏览 82提问于2019-02-21得票数 3
回答已采纳
1回答
我有一个有保险公司报价的数据集。我正试图建立一个模型来预测公司应该根据不同的变量向客户收取多少费用。其中两个变量与第二个驱动程序相关。其中一个是driver2_licence_type，另一个是dirver2_licence_years。
我感兴趣的是如何处理driver2_licence_years上丢失的值，以便执行多线性回归或决策树/随机森林回归。主要有两种情况。
案例1
当driver2_licence_type不是NaN时，我认为用平均年数填充driver2_licence_years是安全的，因为我们知道有第二个驱动程序，但是我们不知道这个驱动程序有多少经验。然而，价格不太可能遵循
浏览 0提问于2023-05-06得票数 0
回答已采纳
我有一个关于Pandas DataFrame count函数的问题。
我正在编写以下代码：
d = {'c1': [1, 1, 1, 1, 1], 'c2': [1, 1, 1, 1, 1], 'c3': [1, 1, 1, 1, 1], 'Animal': ["Cat", "Cat", "Dog", "Cat", "Dog"]}
import pandas as pd
df = pd.DataFrame(data=d)
最后，我使用了DataFram
浏览 3提问于2020-10-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
