深入 Python 数据分析：高级技术与实战应用

import pandas as pd

# 读取 CSV 文件
data = pd.read_csv('data.csv')

# 读取 Excel 文件
data = pd.read_excel('data.xlsx')

# 从 SQL 数据库中读取数据
import sqlite3
conn = sqlite3.connect('database.db')
data = pd.read_sql_query('SELECT * FROM table_name', conn)
conn.close()

# 处理缺失值
data.fillna(value=0, inplace=True)  # 用 0 填充缺失值

# 处理异常值
data = data[(data['column_name'] > lower_bound) & (data['column_name'] < upper_bound)]

# 处理重复值
data.drop_duplicates(inplace=True)

import matplotlib.pyplot as plt
import seaborn as sns

# 绘制柱状图
sns.barplot(x='category', y='value', data=data)
plt.show()

# 绘制折线图
plt.plot(data['x'], data['y'])
plt.xlabel('X')
plt.ylabel('Y')
plt.show()

# 绘制箱线图
sns.boxplot(x='category', y='value', data=data)
plt.show()

from sklearn.cluster import KMeans

# 假设数据为 X
kmeans = KMeans(n_clusters=3)  # 设置聚类数为 3
kmeans.fit(X)

# 获取聚类标签
labels = kmeans.labels_

from sklearn.decomposition import PCA

# 假设数据为 X
pca = PCA(n_components=2)  # 设置主成分数为 2
X_pca = pca.fit_transform(X)

import pandas as pd
import statsmodels.api as sm

# 读取时间序列数据
data = pd.read_csv('time_series_data.csv', index_col='date', parse_dates=True)

# 平稳性检验
from statsmodels.tsa.stattools import adfuller
result = adfuller(data['value'])
if result[1] <= 0.05:
    print("数据是平稳的")
else:
    print("数据是非平稳的，需要进行差分处理")

# 建模与预测
model = sm.tsa.ARIMA(data['value'], order=(1, 1, 1))
results = model.fit()
forecast = results.forecast(steps=5)  # 预测未来 5 个时间点的值