FastAPI与Selenium：打造高效的Web数据抓取服务

pip install fastapi uvicorn selenium

# -*- coding: utf-8 -*-
"""
FastAPI与Selenium结合示例：
通过FastAPI提供API接口，使用Selenium进行网页抓取。
代码中配置了代理IP（参考亿牛云爬虫代理）、User-Agent和Cookie。
此示例访问 https://pixabay.com ，采集页面中的图片及其相关信息。
"""

from fastapi import FastAPI
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

app = FastAPI()

def create_driver():
    # 初始化Chrome选项
    chrome_options = Options()
    
    # 设置User-Agent，模拟真实浏览器请求
    user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 " \
                 "(KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
    chrome_options.add_argument(f"user-agent={user_agent}")
    
    # 配置代理IP参数（参考亿牛云爬虫代理）
    proxy_host = "proxy.16yun.cn"      # 代理域名
    proxy_port = "8000"                    # 代理端口
    proxy_user = "your_username"           # 代理用户名
    proxy_pass = "your_password"           # 代理密码
    # 拼接代理字符串，格式为：username:password@host:port
    proxy = f"{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}"
    chrome_options.add_argument(f"--proxy-server=http://{proxy}")
    
    # 可选：如果需要无头模式（不打开浏览器窗口），取消下行注释
    # chrome_options.add_argument("--headless")
    
    # 初始化Chrome WebDriver
    driver = webdriver.Chrome(options=chrome_options)
    
    # 预先访问目标网站，设置Cookie示例（Cookie需与目标域名匹配）
    driver.get("https://pixabay.com")
    driver.add_cookie({
        "name": "example_cookie",    # Cookie名称
        "value": "cookie_value",     # Cookie值
        "domain": "pixabay.com"      # Cookie对应的域名
    })
    
    return driver

@app.get("/crawl")
def crawl():
    """
    接口说明：
    该接口使用Selenium访问 https://pixabay.com 页面，
    采集页面中所有图片的URL及其相关描述信息（通过alt属性提供），
    并以JSON格式返回采集结果。
    """
    try:
        # 创建Selenium WebDriver实例
        driver = create_driver()
        # 访问目标URL：Pixabay首页
        driver.get("https://pixabay.com")
        # 等待页面加载（根据实际情况可调整等待时间）
        time.sleep(5)
        
        # 查找页面中所有的img标签元素
        img_elements = driver.find_elements(By.TAG_NAME, "img")
        
        # 存储图片信息的列表
        images_info = []
        
        # 遍历所有图片元素，提取图片URL和描述信息（alt属性）
        for img in img_elements:
            src = img.get_attribute("src")
            alt = img.get_attribute("alt")
            # 如果图片URL不存在则跳过
            if not src:
                continue
            images_info.append({
                "src": src,
                "alt": alt
            })
    except Exception as e:
        # 捕获异常并返回错误信息
        return {"error": str(e)}
    finally:
        # 关闭浏览器，释放资源
        driver.quit()
    
    return {"total_images": len(images_info), "images": images_info}

# 启动FastAPI服务（在命令行中运行： uvicorn main:app --host 0.0.0.0 --port 8000）
if __name__ == "__main__":
    import uvicorn
    uvicorn.run(app, host="0.0.0.0", port=8000)