如何在python dataframe中使重复列值为空？
在Python的DataFrame中，可以使用以下方法将重复的列值设置为空：
- 首先，导入所需的库和模块：
import pandas as pd- 创建一个示例DataFrame：
data = {'A': [1, 2, 3], 'B': [4, 4, 6], 'C': [7, 8, 9], 'D': [4, 4, 6]}
df = pd.DataFrame(data)- 使用DataFrame的
duplicated()方法找到重复的列值，并将它们设置为空：
duplicated_cols = df.columns[df.duplicated()]
df[duplicated_cols] = None这样，重复的列值就会被设置为空。你可以通过打印DataFrame来验证结果：
print(df)输出结果：
A B C D
0 1 NaN 7 4
1 2 NaN 8 4
2 3 NaN 9 6在这个例子中，列B的重复值被设置为空。
请注意，这只是一种处理重复列值的方法之一，具体的处理方式可能因数据结构和需求而异。此外，如果你需要更多关于DataFrame的操作和功能，可以参考腾讯云的产品介绍链接：腾讯云·Pandas。
相关·内容
我有一个Python DataFrame，里面有一些重复的项目。
有没有一种简单的(惯用的)方法来获得重复列表？
我知道drop_duplicates()，但它似乎不能返回被丢弃的内容。
我可以通过使用散列映射来统计出现的次数来开发一些东西，但我希望避免使用大量执行内置功能的自定义构建函数来膨胀我的代码。
浏览 5提问于2018-07-23得票数 0
1回答
很短的时间:我有这个DataFrame
在dataframe中，我有一些具有不同值的重复列。我如何修正它，使它们有不同的列名？
df_temporary.rename(columns={df_temporary.columns[3]: "OeFG%"}, inplace=True)
df_temporary.rename(columns={df_temporary.columns[11]:"DeFG%"}, inplace=True)
df_temporary.rename(columns={df_temporary.columns[5]: "OTOV
浏览 10提问于2022-11-30得票数 1
尽管花了半天时间在堆栈溢出上，我还是没有找到解决方案。在python3.9.0中工作，我需要清理数据。第一行应该转换为列，第二行需要成为标题，重复列(‘political_right’，'civil_liberties，'status')只需要简化为3列。这可以通过每年重复列"country“中的值来实现。每当我完成一件事，我就把另一件事搞砸了，所以任何帮助/建议都会受到深深的感激！
当前数据的相似版本(实际df: 207行×148列)：
df_bad = pd.DataFrame({'col1': ['years', '
浏览 7提问于2022-08-09得票数 1
这是我的数据
sitename SOREANG SOREANG SATC L SUMELAP L SUKAJAYA L TAWANG
sitename1
SOREANG 1.0 0.5 0.0 0.0 0.0
SOREANG SATC 1.0 1.0 0.0 0.0
浏览 5提问于2022-04-11得票数 2
1回答
这是我的代码：
dfNbMatchSurface = data.frame()
print(dfNbMatchSurface)
dfNbMatchSurface$test <- "exp"
write.csv(dfNbMatchSurface, file = "NbMatchSurface.csv")
我想用一个空的测试列创建一个空的dataframe，并调用"exp“。
怎么做？
我也试过这样做：
dfNbMatchSurface = data.frame()
print(dfNbMatchSurface)
dfNbMatchSurface$te
浏览 3提问于2017-11-27得票数 1
回答已采纳
问题陈述:在升级Databricks运行时版本时，复制列在创建dataframe时抛出错误。在较低的运行时，会创建dataframe，并且由于下游不需要重复列，因此它只是在select中被排除在外。
文件位置:存储在ADLS Gen2 (Azure)上的Json文件。集群模式:标准
代码:我们在中阅读它，如下所示。
intermediate_df = spark.read.option("multiline","true").json(f"{path}/IN-109418_Part_1.json")
json文件是嵌套的，其中一个是tags，它是
浏览 1提问于2021-11-16得票数 2
回答已采纳
如果有人能帮我解决我遇到的熊猫数据问题，我将不胜感激。
我正试图将熊猫的数据按栏分组，但我不确定如何进行。我有一个包含重复列名(A和B)的数据，并希望将它们分组以返回A和B的最大值
重复列Dataframe
index | A | A | A | B | B |
--------------------------------
2015-01-01 | | 1 | 7 | 1 | |
--------------------------------
2015-01-02 | 3 | | | | 5 |
数据处理后的
index | A | B |
---
浏览 0提问于2017-02-22得票数 2
回答已采纳
我正在尝试创建一个python函数来绘制来自DataFrame的数据。参数应该只是数据。或者数据和标准差。
作为标准差的默认参数，我想使用一个空的DataFrame。
def plot_average(avg_df, stdev=pd.DataFrame()):
if not stdev.empty:
...
...
但是像这样实现它会给出以下错误消息：
TypeError: 'module' object is not callable
如何将空DataFrame创建为默认参数？
浏览 0提问于2019-11-18得票数 1
在Python和R中，可以很容易地摆脱重复的列--只需加载数据，分配列名，并选择不重复的列。
使用处理这些数据的最佳实践是什么？此处不允许分配重复的列名。我知道唯一的方法是多按摩输入的数据，并在构造数据前去掉这些数据？
问题是，处理已经构造的dataframe中的重复列几乎总是更容易，而不是在传入数据中。
UPD: --我指的是重复的列名。我从原始数据构建数据，在原始数据中可以重复列名(因此也是数据)。
UPD2:添加了 Python示例。
>>> import numpy as np
>>> import pandas as pd
>>>
浏览 0提问于2020-08-24得票数 3
回答已采纳
我试着用Tableau得到一个简单的东西，即我的数据集的列的空值的%。 但是每次我把我的维度放到我的列上时，它显示了这个维度的所有可能的值，它不可能使python的等价物"dataframe.isna().sum()/len(dataframe)“。
浏览 21提问于2020-08-31得票数 0
我有一个excel表，其中包含通过运行不同配置的程序生成的数据。两个样本输出如下。我的第一个问题是，在读取第一个组之后，pd.read_excel()为列名引入了增量数字。例如，第一个dataframe有正确的列名"A、B、C、D"，而第二个dataframe有"A.1、B.1、C.1、D.1"和第三个"A.2、B.2、C.2、D.2"等等。我如何确保所有的列名都是相同的？
我在excel上的数据
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
浏览 0提问于2020-09-28得票数 3
回答已采纳
我将kdb表保存到dataframe，然后将dataframe保存到csv。但是，如果我打印csv文件(Dataframe)，则可以执行此操作；空值显示为“b”，所有其他字符串值显示为“b' string‘”。
运行Python 3.7、pandas 0.24.2和qpython 2.0.0。
df = pandas.DataFrame(qpython query)
df.to_csv(path_or_buf="",
sep=",", na_rep='',
float_format=None,
浏览 21提问于2019-07-30得票数 1
回答已采纳
2回答
嘿，伙计们，我有个问题，谁能帮我处理代码或算法，把fd.loc0，‘值4’添加到fd.loc1，‘值2，给出fd.loc1的输出，’值4‘--基本上，我希望值4中的每一个观测值都是它以前观测值的总和，值2中相应的观察值(我希望能正确解释我的问题)。
dict = {
'value 1' : [1,2,3],
'value 2' : [4,5,6]
}
fd = pd.DataFrame(dict)
fd['value 4'] = 10 + fd['value 2']
fd
浏览 1提问于2020-04-01得票数 0
回答已采纳
5回答
我的dataframe几乎没有重复的列名。如果找到重复列名，则将重复列合并为一个列。我还想保留用逗号分隔的重复列数据。有谁能建议一下这样做吗。
我已经构造了下面的例子。在我实际的dataframe列名称是未知的。
输入DataFrame：
Col1 Col2 Col3 Col2
A CA1 CA5 CA3 CA5
B CB1 CB5 CB3 CB5
C CC1 CC5 CC3 CC5
D CD1 CD5 CD3 None
E CE1 CE5 CE3 CE5
它可以通过以下方式阅读：
df = pd.read_clipboard(names=['
浏览 4提问于2016-06-20得票数 5
回答已采纳
2回答
如何合并重复列和它们的值？
我所拥有的
A 30
A 40
B 50
我所需要的
A 70
B 50
此示例的DF
d = {'address': ["A", "A", "B"], 'balances': [30, 40, 50]}
df = pd.DataFrame(data=d)
df
浏览 0提问于2019-03-10得票数 11
回答已采纳
4回答
如何在python中将字典转换为重复列表？
例如：{'a':1,'b':2,'c':1,'d':3} to ['a','b','b','c','d','d','d']
浏览 0提问于2013-06-01得票数 4
我想要修改传递到这个函数中的数据。
def func(df):
left_df = pd.DataFrame([[1, 2], [3, 4]], columns=['A', 'B'])
right_df = pd.DataFrame([[5, 6], [7, 8]], columns=['C', 'D'])
df = pd.merge(left_df, right_df, how='outer', left_index=True, right_index=True)
print(&#
浏览 5提问于2017-10-13得票数 2
回答已采纳
1回答
我正在尝试使用Python3将DataFrame导出到csv文件中，使用下面的代码：
import pandas as pds
oee_2016 = pds.DataFrame({'"title"':['"OEE"', '"Qual"', '"Perf"', '"Disp"'],
'"subtitle"':['"%"
浏览 0提问于2018-12-01得票数 0
对于创建像素映射非常有用的代码，特别是在对选定区域中的数据进行分组的循环中，我遇到了麻烦。我克服不了KeyError。我怎么处理这件事？
我正在使用Python3.7，我已经尝试在循环中添加一些控件，但是循环没有结束，因为第一个遇到的像素似乎是空的。我还试着使用try:和除了:KeyError，但是最后我得到了一个不能重塑的行，因为显然，循环只是跳过空的子数据文件。这里我报告了主要的代码步骤，让您知道“lin”和“col”是表示某一度量在某个像素中的位置的整数：
第一次试用：
mean_val=[]
row=[]
for i in range (0,Ypix):
for j in r
浏览 3提问于2019-09-22得票数 0
回答已采纳
我有一个dataframe，它由两个列组成，一个是Int，另一个是字符串：
+-------------+---------------------+
|user_id |token |
+-------------+---------------------+
| 419| Cake|
| 419| Chocolate|
| 419| Cheese|
| 419| Cre
浏览 0提问于2018-11-14得票数 2
回答已采纳
我需要重新采样由两个级别组成的潘达斯MultiIndex。内部级别是日期时间索引。需要重放。
import numpy as np
import pandas as pd
rng = pd.date_range('2019-01-01', '2019-04-27', freq='B', name='date')
df = pd.DataFrame(np.random.randint(0, 100, (len(rng), 2)), index=rng, columns=['sec1', 'sec2'
浏览 0提问于2019-09-11得票数 2
回答已采纳
2回答
在python中创建if语句有一个小问题。我正在使用熊猫库压缩两个csv文件，我希望创建一个if语句，它将检查list是否为空。所以这是我的密码
file1 = pd.read_csv('otomotofirst.csv')
file2 = pd.read_csv('otomotonew.csv')
change=(file2[~file2.Linki.isin(file1.Linki)])
if change is None:
break
else:
send_mail(subjectNew,change)
它运行得很好，但是如果它是空的(
浏览 8提问于2020-04-16得票数 1
回答已采纳
2回答
dataframe是query.when groupby之后的一个空df，引发运行时警告，然后获得另一个没有columns.How的空数据raise来保留列？
df = pd.DataFrame(columns=["PlatformCategory","Platform","ResClassName","Amount"])
print df
结果：
Empty DataFrame
Columns: [PlatformCategory, Platform, ResClassName, Amount]
Index: []
然后分组讨论
浏览 5提问于2017-09-07得票数 9
回答已采纳
我正饱受这一错误的折磨，真不知道此时该怎么办。由于本地存储空间为空，因此返回此错误。
SyntaxError: Unexpected end of JSON input
at JSON.parse (<anonymous>)
at index.tsx:52:32
at d (regeneratorRuntime.js:86:17)
at Generator._invoke (regeneratorRuntime.js:66:24)
at Generator.next (regeneratorRuntime.js:117:21)
at
浏览 4提问于2022-07-25得票数 1
关于如何使用Spark Scala/Python创建空的dataframe/Dataset，有很多示例。但是我想知道如何在Java Spark中创建一个空的dataframe/Dataset。 我必须创建一个空的dataframe，其中只有一列，标题为Column_1，类型为String。
浏览 27提问于2020-07-14得票数 0
回答已采纳
hotel_dataframe=hotel_dataframe.groupby(['hotel','meal']).size()
hotel_dataframe=hotel_dataframe.unstack()
meal_comparison=hotel_dataframe.plot(kind='bar')`
如何在Python-Jupyter Notebook中向此条形图添加标题？
浏览 15提问于2020-05-08得票数 1
我想知道python是否有任何函数，比如php空函数()，它会用以下条件检查变量是否为空
"" (an empty string)
0 (0 as an integer)
0.0 (0 as a float)
"0" (0 as a string)
NULL
FALSE
array() (an empty array)
浏览 3提问于2012-05-11得票数 32
回答已采纳
我正在学习Python，我在数据过滤方面遇到了一些困难。我已经看过多个例子，我似乎找不到一种适合我特殊需要的方法：
在具有数值的dataframe中，我想通过以下标准过滤行和列：
“如果一行中的任何值高于阈值，则包括整行(包括低于阈值的值)。否则，丢弃该行。”
这应该适用于所有行。随后，我将重复列的内容。
任何帮助都是非常感谢的。
浏览 1提问于2022-04-24得票数 1
回答已采纳
基本上，我希望使用python找到DataFrame A中的I，而不是DataFrame B中的I。我遵循了中的建议，但结果并不是我所期望的。
考虑以下场景：
a = pd.DataFrame(data= {"id":[1, 1, 1, 2, 3, 4, 5],'score':[90,90,91,92,93,94,99]})
b = pd.DataFrame(data= {"id":[1, 2, 3, 4, 5],'letter':['a','b','c','d',&
浏览 0提问于2018-09-14得票数 0
1回答
循环计数器返回0
、、、、
对不起，如果这有点傻的话，我是刚开始编码的。我尝试创建一个混淆矩阵，我使用了唯一的函数，然后创建了一个空矩阵，并尝试添加循环计数器来确定时间复杂度，但它返回0。我认为这是因为我没有正确地调用这个函数，但我不知道如何去做。非常感谢你的帮助。
L = 0
def confusionmatrix(target, prediction):
dataframe=creatematrixnull(target)
for i in range(len(target)):
dataframe[target[i]][prediction[i]]+=1
L=
浏览 6提问于2022-02-21得票数 0
1回答
我最近开始在Python中使用reportlab从一个带有页码和可点击目录的Pandas DataFrame中生成PDF。我现在的问题是有些表格会延伸到下一页，因此标题不会显示在下一页上。在重复扩展行之前，我想用它来重复列标题和颜色。我已经尝试了所有的方法，但都不起作用。有没有人遇到过类似的问题？或者，有没有人对此有什么想法？我真的很感激。
谢谢
浏览 17提问于2020-03-03得票数 0
我有一个看起来像这样的DataFrame：
col1 Duplicates Empty
0 PID unique Empty
1 OBR unique notEmpty
2 PID not unique notEmpty
3 OBR not unique notEmpty
4 PID not unique Empty
5 OBR not unique notEmpty
6 PID unique Empty
浏览 7提问于2022-01-31得票数 0
回答已采纳
2回答
我正在使用spark sql开发一个SPARK应用程序，我的工作之一是从两个表中选择值，并将其插入到一个空表中，这就是我的结果。但为此，我正在尝试使用spark创建一个空表，我已经创建了一个空数据框，但无法将其注册为表。下面是我的情况代码
from pyspark import SQLContext
from pyspark.sql.types import StructType,StructField,StringType,DateType,IntegerType
sqlc=SQLContext(sc)
schema= StructType([StructField("Name&#
浏览 2提问于2016-08-03得票数 0
回答已采纳
一个快速披露:我来自R背景，正在转到熊猫(运行在python3.3.3)。
我希望通过使用dataframe条目中的文本从dataframe中选择行。这是一个元素操作，但我无法绕开语法。
例如，对于这个DataFrame (对于行分隔很抱歉，但我想让示例更清楚)：
films = pandas.DataFrame({'$title':[ "The Godfather",
"Pulp Fiction",
浏览 5提问于2014-06-23得票数 2
回答已采纳
如何在HTTP请求之间共享FastAPI中变量的值？例如，我有一个POST请求，在其中我得到一些音频文件，然后我将它们的信息转换成一个Pandas Dataframe。我想在一个Dataframe请求中发送GET，但是不能访问GET请求作用域上的Dataframe。
@app.post(
path="/upload-audios/",
status_code=status.HTTP_200_OK
)
async def upload_audios(audios: list[UploadFile] = File(...)):
filenames = [au
浏览 10提问于2022-02-25得票数 4
在使用的iloc方法时，如果值不存在，我希望返回零：(我有一个查询，它总是返回一行或空数据)。当第一个左值存在时，我想要它)
import pandas as pd
mydict = {"col1":[1,2], "price":[1000,2000]}
df = pd.DataFrame(mydict)
query=df[df['price']>3000]
try:
print(query.iloc[0][0])
except BaseException:
print(0)
#print result: 0
对于il
浏览 3提问于2019-01-23得票数 5
回答已采纳
我知道这个问题之前发布了更多的次数，但我几乎没有怀疑。我有一个datetime.date (例如mydate = date(2014,5,1))，我将其转换为字符串，然后在DB中另存为表中的列(dtype:object)。现在，我想在DB中将日期存储从文本更改为时间戳。我试过了， 例如。我的桌子是tab1。我在python中将其读作dataframe df。 # datetime to timestamp
df['X'] = pd.to_datetime(mydate) 当我在python编辑器df.info()中检查数据类型时，X的数据类型是datetime64ns，但当我
浏览 118提问于2020-10-15得票数 0
1回答
我从YouTube课程开始学习Django。
在models.py文件中，有两个类。
class Album(models.Model):
artist = models.CharField(max_length = 250)
album_title = models.CharField(max_length = 250)
album_logo = models.CharField(max_length = 1000)
def __str__(self):
return self.album_title + ' - ' + se
浏览 3提问于2018-05-30得票数 1
回答已采纳
我正在从这个链接运行一个简单的Pyspark程序-https://spark.apache.org/docs/2.2.0/sql-programming-guide.html当我试图从全局临时视图读取数据时遇到了问题 sqlContext.sql("""select * from people""").show()
Hive history file=/tmp/sshuser/hive_job_log_sshuser_202004281336_882204804.txt
Traceback (most recent call last):
浏览 54提问于2020-04-28得票数 0
1回答
可复制数据
import pandas as pd
import numpy as np
cols1=['b','a','c','a']
data1=[0,0,0,0]
df1=pd.DataFrame([data1], columns= cols1)
df1
cols2=['b','a', 'd', 'a', 'e','f']
data2=[1,1,1,1,1,1]
df2=pd.DataFrame([data2], column
浏览 2提问于2022-06-23得票数 2
回答已采纳
2回答
我正在尝试创建一个非常大的dataframe，它由许多较小的dataframe (重命名为dataframe名称)组成的一列组成。我使用CONCAT()和循环遍历表示dataframes的字典值，并在索引值上循环创建大型dataframe。CONCAT() join_axes是所有数据格式的公共索引。这很好，但是我有重复的列名。
我必须能够在指定的窗口上循环索引，这是我最后创建数据帧的一部分--因此，删除这个步骤不是一个选项。
例如，这将产生以下具有重复列的最终数据帧：
除了合并列以产生类似于这样的输出外，还有什么方法可以非常灵活地使用CONCAT()吗？
浏览 9提问于2016-11-03得票数 0
回答已采纳
我想用一系列的值替换dataframe列中的值。问题是，我只想替换由掩码指定的值，并且序列与dataframe没有相同的长度。
更具体地说，我希望将所有非空值替换为包含数据More中每个非空值的一个值的系列中的值。
假设dataframe中的列包含[1,2,3,NaN,5]，而系列包含[2,4,6,10]
我天真地认为这可能有效
df[pd.notna(df)] = s
但它将使该列看起来像[1,2,3,NaN,NaN]。我理解它为什么会这样做，但我需要找到一些能给我以下信息的东西：[2,4,6,NaN,10]
浏览 1提问于2019-09-11得票数 0
回答已采纳
pd.DataFrame.all和pd.DataFrame.any转换为bool所有值，然后使用关键字True断言所有标识。只要我们知道非空列表和字符串值为True，这就没问题。然而，让我们假设情况并非如此。
>>> pd.DataFrame([True, 'a']).all().item()
True # Wrong
一种解决办法是断言与True相等，但与True进行比较听起来并不像pythonic。
>>> (pd.DataFrame([True, 'a']) == True).all().item()
False #
浏览 0提问于2018-03-27得票数 9
回答已采纳
对于当前的项目，我计划清除Pandas DataFrame的空值。为此，我想使用pd.DataFrame().fillna()，它显然是数据清理的可靠解决方案。 但是，在运行下面的代码时，我收到了以下错误ValueError: Must specify a fill 'value' or 'method'。我尝试了几种方法来重写df = pd.DataFrame().fillna()行，但都没有达到预期的结果。 有没有什么聪明的调整可以让它运行起来？ import string
import json
import pandas as pd
# Loadin
浏览 1101提问于2020-07-14得票数 2
回答已采纳
我在postgresql中有一个表，该表最初将为空，而不是空值，它将为空。
我正在运行一个select查询，它将该值显示为空，但我需要它返回null。
这是我的查询
select job_status,refreshed_properties,total_number_of_properties_to_be_refreshed
from job_table
这是我的python代码
check_job_status = """select job_status,refreshed_properties,total_number_of_properties_to_b
浏览 0提问于2020-10-24得票数 0
1回答
我想知道是否有任何方法可以在Kylo ()中进行数据清理。我能够让工具使用数据验证规则来指出错误，但我很想知道它是否还可以执行其他功能。示例：
删除数据之间的任何空记录
检测和删除数据中的重复列
浏览 2提问于2018-04-05得票数 1
我正在对python进行基本的筛选，dataframe.Below是代码。
df1 = df.loc[df['ID'] == '2f45b-ii58-4927']
print(df1)
它为我提供了空的数据和过滤行，如下所示。
Empty DataFrame
Columns: []
Date sal ID
0 14Jun 10100 2f45b-ii58-4927
我不需要空的dataframe部分以及过滤过的行( .Is )，也不需要任何方法来实现这一点。我不需要空dataframe部分的原因是我在Azure函数中调用这个py
浏览 6提问于2022-07-16得票数 2
我从Parquet文件创建一个DataFrame，如下所示：
DataFrame parquetFile = sqlContext.read().parquet("test_file.parquet");
parquetFile.printSchema();
parquetFile.registerTempTable("myData");
DataFrame data_df = sqlContext.sql("SELECT * FROM myData");
现在，我想打印出一个名为field1的列的所有唯一值。
我知道，在使用Python的情况下
浏览 8提问于2017-05-19得票数 2
回答已采纳
到目前为止，我已经找到了，但由于以下事实，它并没有解决我的问题：
我有MultiIndex DataFrame
内部级别对于每个外部级别有不同的数据量，因此我不能使用len()
我有下面的DataFrame
Outer Inner Value
A 1 2.000000
A 2 4.000000
A 3 6.000000
A 4 8.000000
B 1 3.000000
B 2 6.000000
B 3 9.00000
浏览 4提问于2016-07-28得票数 5
回答已采纳
假设'allotedTo'列包含多个值，如'ABC/xyz/RAM'
如果'allotedto'列包含任何给定的输入值，如何加载所有行？(所有行都分配给RAM或KLM)？
在这里，我们不希望解决方案多次重复列名，如下所示：
select * from table where [allotedTO] like '%RAM%' OR [allotedTO] like '%KLM%'
我们希望实现类似于以下查询的解决方案，但它不起作用：
select * from table where [allotedTO] li
浏览 0提问于2019-07-24得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
