云原生信息提取系统：HTTP 网络代理流程与CI/CD集成实践

原创

jackcode

发布于 2025-07-09 10:23:27

10600

代码可运行

文章被收录于专栏：爬虫资料爬虫资料

运行总次数：0

代码可运行

一、问题引出：自动化信息获取为何难以工程化？

在实际开发中，我们经常需要对互联网页面进行结构解析与内容提取，但这些任务常常陷入以下困境：

本地测试没问题，一旦部署到线上环境便频繁出错；
环境配置不一致导致执行失败；
内容接口更新频繁，人工维护成本高；
无法做到自动更新与持续运行；
对接口访问策略缺乏灵活适配手段。

这说明，仅靠“能运行的脚本”远远不够，信息提取任务也需要标准化的开发、测试与交付机制。

二、真实挑战：结构动态、访问限制与部署繁琐

以一个汽车类门户平台为例，我们希望实现基于关键词搜索车辆相关信息（如车型名称、简介、配置版本、相关新闻等），并按照车辆等级进行分级整理。

任务听起来并不复杂，但在实际实施中却频繁遭遇障碍：

页面结构高度依赖客户端动态渲染，初始HTML无法获得完整数据；
对访问行为有限制，如用户识别标识、身份令牌、访问频率等；
不同节点的运行环境差异大，容易出现兼容性问题；
更新流程依赖人工触发，无法自动发布和持续验证。

可见，仅依靠传统脚本难以满足稳定运行与高频变更的实际需求。

三、失败尝试：单机运行 → 半自动 → 环境封装，仍未解决根本问题

项目初期我们采取了本地运行的方式，逻辑调试方便，但无法跨设备部署；

随后通过定时任务在服务器上执行，虽然实现了自动执行，但配置手动、版本不可控；

进一步尝试通过 Docker 打包运行环境，解决了依赖问题，但每次更新仍需手动操作；

使用接口触发远程任务后，问题转向配置混乱与身份信息不一致，导致访问失败。

这些尝试表明：缺乏统一标准的自动化发布与运行机制，是导致任务难以长期稳定执行的关键因素。

四、工程化落地方案：构建云原生的信息提取系统

为解决上述痛点，我们设计了以下技术组合：

使用 Scrapy 实现页面结构解析与请求模拟；
通过 Docker 封装运行环境，确保部署一致性；
集成认证型 HTTP 网络代理服务，增强访问稳定性；
中间件注入身份令牌与用户标识，提高接口响应成功率；
使用 GitHub Actions 作为自动构建与部署流程；
输出结构化数据，按分类规则进行本地归档。

整个方案不仅关注“能否成功请求”，更聚焦在“如何自动运行”、“如何稳定迭代”。

请求模拟模块示例：关键词搜索任务

# spiders/car_info.py

import scrapy
from autohome.items import CarItem

class CarInfoSpider(scrapy.Spider):
    name = 'car_info'
    allowed_domains = ['autohome.com.cn']

    def __init__(self, keyword='卡罗拉', *args, **kwargs):
        super().__init__(*args, **kwargs)
        self.keyword = keyword

    def start_requests(self):
        url = f"https://so.autohome.com.cn/zonghe?q={self.keyword}"
        yield scrapy.Request(url=url, callback=self.parse)

    def parse(self, response):
        for car in response.css('.result-list li'):
            item = CarItem()
            item['title'] = car.css('.result-item-title a::text').get()
            item['price'] = car.css('.price span::text').get()
            item['desc'] = car.css('.result-item-cont p::text').get()
            yield item

代理配置 + 用户标识设置（中间件形式）

# middlewares.py

import base64

class ProxyMiddleware:
    #设置爬虫代理（参考亿牛云爬虫代理示例 www.16yun.cn）
    def process_request(self, request, spider):
        proxy_user = '16YUN'
        proxy_pass = '16IP'
        proxy_host = 'proxy.16yun.cn'
        proxy_port = '3100'
        proxy_auth = f"{proxy_user}:{proxy_pass}"

        request.meta['proxy'] = f"http://{proxy_host}:{proxy_port}"
        encoded = base64.b64encode(proxy_auth.encode()).decode()
        request.headers['Proxy-Authorization'] = 'Basic ' + encoded

class CustomUAMiddleware:
    def process_request(self, request, spider):
        request.headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)...'
        request.cookies = {
            'autohome_session': 'example_session_token'
        }

容器封装配置：Dockerfile

FROM python:3.10-slim
WORKDIR /app
COPY . .
RUN pip install --no-cache-dir -r requirements.txt
CMD ["scrapy", "crawl", "car_info"]

自动构建流程：

name: Build and Push Spider Image

on:
  push:
    branches: [main]

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
    - uses: actions/checkout@v3

    - name: Build Docker Image
      run: docker build -t yourname/autohome-spider .

    - name: Push to DockerHub
      run: |
        echo "${{ secrets.DOCKER_PASSWORD }}" | docker login -u "${{ secrets.DOCKER_USERNAME }}" --password-stdin
        docker push yourname/autohome-spider