无头浏览器与请求签名技术-Cloudflare防护

import time
import hashlib
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By

def generate_signature(url, cookies):
    """
    模拟生成请求签名的逻辑
    这里简单地将 URL 与所有 cookie 拼接后计算 MD5 值，实际中可能需要更复杂的算法
    """
    raw = url + ''.join([cookie['name'] + cookie['value'] for cookie in cookies])
    return hashlib.md5(raw.encode('utf-8')).hexdigest()

def scrape_amazon_product(product_url):
    # 设置 Chrome 无头浏览器选项
    chrome_options = Options()
    chrome_options.add_argument("--headless")  # 开启无头模式

    # 设置代理 IP，参考亿牛云爬虫代理的配置
    proxy_host = "proxy.16yun.cn"  # 代理服务器域名
    proxy_port = "8080"               # 代理端口
    proxy_user = "16YUN"           # 代理用户名
    proxy_pass = "16IP"           # 代理密码

    # 如果代理需要认证，则需要构造代理认证字符串，此处为简单示例
    proxy = f"{proxy_host}:{proxy_port}"
    chrome_options.add_argument(f'--proxy-server=http://{proxy}')

    # 设置 User-Agent 模拟真实浏览器
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36"
    chrome_options.add_argument(f'user-agent={user_agent}')

    # 初始化 webdriver（确保已安装对应的 chromedriver 并配置到环境变量中）
    driver = webdriver.Chrome(options=chrome_options)

    try:
        # 访问目标页面（Amazon 商品页面）
        driver.get(product_url)
        # 等待页面加载及 Cloudflare 防护检测通过（根据实际情况调整等待时间）
        time.sleep(5)
        
        # 获取页面 Cookie，用于生成请求签名
        cookies = driver.get_cookies()
        signature = generate_signature(product_url, cookies)
        print("生成的请求签名:", signature)
        
        # 提取商品信息（标题、价格、评价等）
        # 商品标题
        product_title = driver.find_element(By.ID, "productTitle").text if driver.find_elements(By.ID, "productTitle") else "无商品标题"
        # 商品价格（价格可能位于不同的元素中，此处仅为示例）
        try:
            product_price = driver.find_element(By.ID, "priceblock_ourprice").text
        except Exception as e:
            product_price = "价格信息获取失败"
        # 商品评价（同样，评价信息的获取可能因页面结构不同而变化）
        try:
            product_review = driver.find_element(By.ID, "acrCustomerReviewText").text
        except Exception as e:
            product_review = "评价信息获取失败"
        
        print("商品标题:", product_title)
        print("商品价格:", product_price)
        print("商品评价:", product_review)
    finally:
        # 关闭浏览器
        driver.quit()

if __name__ == '__main__':
    # 示例目标商品链接（请替换为实际存在的商品链接）
    target_url = "https://www.amazon.com/dp/B08N5WRWNW"
    scrape_amazon_product(target_url)