
——谈谈增量抓取、时间意识，以及我们踩过的坑

01｜事情是这样开始的：凌晨，我被电话吵醒了
有些项目真的是越做越清醒，尤其是那种能把人从睡梦里叫醒的。
几个月前，我们负责的某个政府采购网站上线了新版页面结构。按理说那天只是例行增量抓取，但过了一阵，数据仓库里突然出现了断层现象：
* 某些字段消失了
* 某些字段变为空值
* 还有几条数据看起来像被人手动改过
运营同事第一句话就是：
“程序是不是抓错了？”
我盯着日志翻了十几分钟，越看越确定：
不是抓取抓错，是我们之前的抓取逻辑太天真了。
我们一直以为自己在做“增量抓取”，实际上是：
把最新数据覆盖老版本，然后把历史抹掉。
那一瞬间我意识到一个事实：
不是我们没抓到数据，而是我们从未认真保存过它的历史形态。
02｜开始追问题：真正的坑不在“抓取”，而在“存怎么存”
过去我们非常习惯这种逻辑：
新内容 != 旧内容 ——> 更新

看起来很合理，但互联网内容变化的方式远没有这么直接。
后来复盘，我们总结了几个核心误区：
误区一：页面变了 ≠ 数据变了
DOM 结构改动很常见，但页面结构变化并不意味着数据意义变化。
有的网站今天 div 套 div，明天 <p> 改 <span>，但内容本身根本没变。
这种情况保存快照没有意义。
误区二：字段值变化 ≠ 版本升级
例如：
* 报名人数
* 收藏量
* 点赞数
这些字段随时间变化属正常，保存每次变化会制造大量噪音。
误区三：字段消失往往才是最重要事件
字段消失通常意味着：
* 条件变更
* 政策调整
* 或者，有东西不想让你看到
这种变化最值得保存，可惜却经常被忽略。
直到那一刻我才真正意识到：
抓取做的不是“抓网页”，是在记录网页内容的演变历史。
03｜重新设计：给系统“时间意识”和“事件含义”
我们最终把抓取逻辑调整为三个关键策略：
1）时间窗口（Time Window）
不同字段变化频率不同，保存策略也要跟着调整。
例如：
* 文案类字段：只在内容变化时保存
* 状态类字段：按周期采样或满足阈值后保存
* 永久字段：存一次即可
这样比“定时保存”更智能。
2）事件驱动（Event Driven）
我们不再简单判断“变了没变”，而是判断“变化属于哪一类”。
变化类型
含义
新增字段
schema_change
内容发生变化
content_update
字段被删除
removal_event
页面结构变化但内容没变化
ignore
这让抓取行为更接近真实观察，而不是无脑比对字符。
3）结构化快照，而不是纯 HTML 存档
最终快照不只是原始 HTML，它应该携带元信息，例如：
{
 "snapshot_time": "2025-11-24 13:22:11",
 "event_type": "content_update",
 "diff_summary": "新增要求：注册资本需≥500万",
 "content_hash": "b24793aed…",
 "parsed_data": {...},
 "raw_html": "<html>...</html>"
}

一句话概括：
不仅保存内容，还保存变化发生的上下文意义。
04｜关键代码示例
"""
网页快照抓取示例
带差异判断 + 时间意识 + 亿牛云代理示例
"""

import asyncio
import hashlib
import json
from datetime import datetime
from pathlib import Path
from playwright.async_api import async_playwright

# === 16YUN代理配置 ===
PROXY_HOST = "proxy.16yun.cn"
PROXY_PORT = "3100"
PROXY_USER = "your_username"
PROXY_PASS = "your_password"

# === 快照存储路径 ===
SNAPSHOT_DIR = Path("./snapshots")
SNAPSHOT_DIR.mkdir(exist_ok=True)


def hash_text(text: str) -> str:
    """生成文本hash，用于判断内容是否变化"""
    return hashlib.sha256(text.encode("utf-8")).hexdigest()


async def capture(url: str):
    """抓取页面并存储快照（带事件判断）"""

    async with async_playwright() as p:
        browser = await p.chromium.launch(proxy={
            "server": f"http://{PROXY_HOST}:{PROXY_PORT}",
            "username": PROXY_USER,
            "password": PROXY_PASS
        })
        page = await browser.new_page()
        await page.goto(url, timeout=60000)

        html = await page.content()
        text = await page.inner_text("body")

        await browser.close()

    new_hash = hash_text(text)
    file = SNAPSHOT_DIR / f"{url.replace('https://','').replace('/', '_')}.json"

    # == 判断是否需要存新快照 ==
    if file.exists():
        old = json.loads(file.read_text())
        if old.get("content_hash") == new_hash:
            print("没有变化，跳过。")
            return
        event = "content_update"
    else:
        event = "first_capture"

    snapshot = {
        "url": url,
        "snapshot_time": datetime.now().strftime("%Y-%m-%d %H:%M:%S"),
        "event_type": event,
        "content_hash": new_hash,
        "text": text,
        "raw_html": html
    }

    file.write_text(json.dumps(snapshot, ensure_ascii=False, indent=2))
    print(f"检测到变化 → 已保存快照：{file.name}")


if __name__ == "__main__":
    asyncio.run(capture("https://www.example.com"))


05｜最后一点反思：抓取不是“抓最新”，而是“记录过程”
回头看，这件事让我彻底改观。
以前我们想的是：
“我只需要最新内容。”
现在变成：
“我要知道这一条数据从出现到现在经历了什么。”
这两句话差别不大，但结果天差地别。
当你能处理变化、时间、事件含义，它就不仅仅是抓取器，而是一个“内容记忆系统”。


01｜事情是这样开始的：凌晨，我被电话吵醒了有些项目真的是越做越清醒，尤其是那种能把人从睡梦里叫醒的。几个月前，我们负责的某个政府采购网站上线了新版页面结构。按理说那天只是例行增量抓取，但过了一阵，数据仓库里突然出现了断层现象：

网页快照这件事，比“更新”复杂得多

本文讨论了增量抓取的重要性和常见误区，强调了保存网页历史形态的必要性。作者分享了三个关键策略：时间窗口、事件驱动和结构化快照，以及如何通过代码实现这些策略。最后，作者反思了抓取的本质，认为它不仅是获取最新内容，而是记录网页内容的演变过程。

前端

大数据

网络与通信

本文分享了网页数据抓取的经验教训，重点分析了增量抓取中常见误区，提出了时间窗口和事件驱动的智能抓取策略。通过结构化快照保存内容变化上下文，实现从简单抓取到内容记忆系统的升级，帮助开发者避免数据断层问题，提升数据采集质量。

数据仓库

AI驱动 智领未来

tchouse

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

网页快照这件事，比“更新”复杂得多-腾讯云开发者社区-腾讯云

网页快照这件事，比“更新”复杂得多

网页快照这件事，比“更新”复杂得多

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐