金融数据分析：解析JavaScript渲染的隐藏表格

# 导入所需库
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

# --------------------------
# 代理配置信息（参考亿牛云爬虫代理 www.16yun.cn）
# --------------------------
# 请将以下代理信息替换为你实际的代理账号信息
proxy_host = "proxy.16yun.com"      # 代理域名
proxy_port = "8080"                    # 代理端口
proxy_user = "16YUN"           # 代理用户名
proxy_pass = "16IP"           # 代理密码

# 构造代理验证地址（部分浏览器需要此格式，部分通过ChromeOptions设置即可）
proxy_auth = f"{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"

# 设置 Chrome 浏览器参数
chrome_options = Options()
# 配置代理服务器（直接设置代理IP，部分情况下会自动处理代理验证）
chrome_options.add_argument(f'--proxy-server=http://{proxy_host}:{proxy_port}')

# 设置自定义的 user-agent（防止被目标网站识别爬虫）
chrome_options.add_argument(
    'user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36'
)

# 如有需要，还可以设置无头模式（后台运行）：
# chrome_options.add_argument('--headless')

# --------------------------
# 初始化 WebDriver
# --------------------------
driver = webdriver.Chrome(options=chrome_options)

# 访问目标网站以设置 cookie 等信息
driver.get("https://www.eastmoney.com")
time.sleep(3)  # 等待页面初步加载

# 设置 cookie 示例（具体 cookie 信息根据实际需求添加）
driver.add_cookie({'name': 'example_cookie', 'value': 'cookie_value', 'domain': '.eastmoney.com'})
# 刷新页面使 cookie 生效
driver.refresh()
time.sleep(3)

# --------------------------
# 模拟等待页面渲染完成
# --------------------------
time.sleep(5)  # 等待 JavaScript 渲染

# 尝试定位隐藏表格（此处假设表格的 id 为 "hiddenTable"，需根据实际页面调整）
try:
    hidden_table = driver.find_element(By.XPATH, '//table[@id="hiddenTable"]')
    # 获取表格 HTML 内容
    table_html = hidden_table.get_attribute('outerHTML')
    print("成功获取到隐藏表格的 HTML 内容：")
    print(table_html)
except Exception as e:
    print("错误：未能定位隐藏表格。请检查页面结构和加载情况。")
    print("异常信息：", str(e))

import pandas as pd

# 假设 table_html 中包含有效的表格结构
try:
    # 利用 pandas 解析 HTML 表格数据
    dfs = pd.read_html(table_html)
    if dfs:
        df = dfs[0]  # 取第一个表格
        print("提取到的金融数据表格：")
        print(df.head())  # 显示前几行数据
        
        # 简单数据分析示例：统计某列数据（需根据实际表格结构调整）
        if '股票代码' in df.columns:
            count_codes = df['股票代码'].nunique()
            print(f"抓取到 {count_codes} 支不同股票的数据。")
    else:
        print("未能解析到有效的表格数据。")
except Exception as ex:
    print("数据解析出错，请检查表格内容和数据格式。")
    print("异常信息：", str(ex))

# 退出浏览器，释放资源
driver.quit()