【愚公系列】《Python网络爬虫从入门到精通》036-DataFrame日期数据处理

pandas.to_datetime(
    arg,
    errors='ignore',
    dayfirst=False,
    yearfirst=False,
    utc=None,
    box=True,
    format=None,
    exact=True,
    unit=None,
    infer_datetime_format=False,
    origin='unix',
    cache=False
)

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width', True)
df=pd.DataFrame({'原日期':['14-Feb-20', '02/14/2020', '2020.02.14', '2020/02/14','20200214']})
df['转换后的日期']=pd.to_datetime(df['原日期'])
print(df)

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame({'year': [2018, 2019,2020],
                   'month': [1, 3,2],
                   'day': [4, 5,14],
                   'hour':[13,8,2],
                   'minute':[23,12,14],
                   'second':[2,4,0]})
df['组合后的日期']=pd.to_datetime(df)
print(df)

# 包含非法日期的数据转换
mixed_dates = ['2023-02-30', 'invalid_date', '2023-12-01']
pd.to_datetime(mixed_dates, errors='coerce')  # 输出：[NaT, NaT, 2023-12-01]

# 解析非标准格式日期
custom_format = "%d-%b-%y"
pd.to_datetime("14-Feb-20", format=custom_format)  # 输出：2020-02-14

# 处理Unix时间戳（单位：秒）
pd.to_datetime(1612345678, unit='s')  # 输出：2021-02-03 04:07:58

# 基础转换方法
df['日期列'] = pd.to_datetime(df['日期列'])

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.east_asian_width', True)
df=pd.DataFrame({'原日期':['2019.1.05', '2019.2.15', '2019.3.25','2019.6.25','2019.9.15','2019.12.31']})
df['日期']=pd.to_datetime(df['原日期'])
print(df)

df['年'],df['月'],df['日']=df['日期'].dt.year,df['日期'].dt.month,df['日期'].dt.day
df['星期几']=df['日期'].dt.day_name()
df['季度']=df['日期'].dt.quarter
df['是否年底']=df['日期'].dt.is_year_end
print(df)

# 筛选Q4且为工作日的记录
df_q4_weekdays = df[
    (df['日期'].dt.quarter == 4) &
    (df['日期'].dt.dayofweek < 5)
]

# 生成年月标识（YYYY-MM）
df['年月'] = df['日期'].dt.strftime('%Y-%m')

# 计算半年度标识
df['半年度'] = df['日期'].dt.month.apply(lambda x: 'H1' if x <=6 else 'H2')

# 计算星期平均数据
weekly_avg = df.groupby(df['日期'].dt.day_name())['销售额'].mean()

import pandas as pd

# 读取数据并提取关键列
df = pd.read_excel('mingribooks.xls')
df1 = df[['订单付款时间', '买家会员名', '联系手机', '买家实际支付金额']]

# 日期列标准化
df1['订单付款时间'] = pd.to_datetime(df1['订单付款时间'])
df1 = df1.sort_values(by='订单付款时间')  # 按时间排序

df1 = df1.set_index('订单付款时间')  # 关键操作！

# 执行筛选
filtered_data = df1['2018-05-11':'2018-06-10']

# 展示结果（示例）
print(filtered_data.head(3))

# 按小时筛选
df1['2018-05-11 08':'2018-05-11 12']

# 组合金额条件
filtered_data[(filtered_data['买家实际支付金额'] > 100)]

# 按周统计销售额
weekly_sales = df1.resample('W')['买家实际支付金额'].sum()

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)
df = pd.read_excel('mingribooks.xls')
df1=df[['订单付款时间','买家会员名','联系手机','买家实际支付金额']]
df1=df1.sort_values(by=['订单付款时间'])
df1 = df1.set_index('订单付款时间') # 将日期设置为索引
#获取某个区间数据
print(df1['2018-05-11':'2018-06-10'])

import pandas as pd

# 读取数据并设置日期索引
df = pd.read_excel('TB2018.xls', usecols=['订单付款时间','买家实际支付金额'])
df = df.set_index(pd.to_datetime(df['订单付款时间']))  # 确保日期为索引

assert isinstance(df.index, pd.DatetimeIndex), "索引必须为日期类型！"

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)

aa =r'TB2018.xls'
df = pd.DataFrame(pd.read_excel(aa))
df1=df[['订单付款时间','买家会员名','联系手机','买家实际支付金额']]
df1 = df1.set_index('订单付款时间') # 将date设置为index
print('---------按年统计数据-----------')
#“AS”是每年第一天为开始日期，“A”是每年最后一天
print(df1.resample('AS').sum())

print('---------按季统计数据-----------')
#“QS”是每个季度第一天为开始日期，“Q”是每个季度最后一天
print(df1.resample('QS').sum())

print('---------按月统计数据-----------')
#“MS”是每个月第一天为开始日期，“M”是每个月最后一天
print(df1.resample('MS').sum())

print('---------按星期统计数据-----------')
print(df1.resample('W').sum())

print('---------按天统计数据-----------')
print(df1.resample('D').sum())

import pandas as pd
#解决数据输出时列名不对齐的问题
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)

aa =r'TB2018.xls'
df = pd.DataFrame(pd.read_excel(aa))
df1=df[['订单付款时间','买家会员名','联系手机','买家实际支付金额']]
df1 = df1.set_index('订单付款时间') # 将date设置为index
print('---------按年统计并显示数据-----------')
#“AS”是每年第一天为开始日期，“A”是每年最后一天
print(df1.resample('AS').sum().to_period('A'))
print('---------按季度统计并显示数据-----------')
print(df1.resample('Q').sum().to_period('Q'))
print('---------按月统计并显示数据-----------')
print(df1.resample('M').sum().to_period('M'))
df2=df1.resample('M').sum().to_period('M')
print('---------按星期统计并显示数据-----------')
print(df1.resample('W').sum().to_period('W').head())