jackcode

文章/答案/技术大牛

发布

LV0

全部文章

那些每秒抓取数万次的系统，底层架构到底是怎么设计的？
去年有个项目，需求听着不复杂：每天采集大概8亿个网页。算一下就是平均9000+ QPS，峰值可能到2万到3万。我当时的反应是"用Scrapy加几个代理不就行了"...
jackcode 1天前2026-07-27 11:29:41
redis、keepalived、架构、云解析 DNS、kafka
如何设计一套高可用的爬虫任务队列，保证断点续爬与故障转移？
先说结论，再说为什么。这篇文章解决的问题是：你的爬虫跑到一半机器挂了，或者代理 IP 突然大面积失效，怎么保证任务不丢、不重、能从上次断的地方接着爬。
jackcode 5天前2026-07-23 15:07:04
redis集群、celery、自动化运维、网页爬虫、python爬虫
深入内存优化：如何防止分布式爬虫在长时运行中导致的内存暴涨？
重启，跑了一个小时，又炸了。看 Grafana 曲线，内存像楼梯一样一格格往上走，中间偶尔 GC 回落一点，但总体趋势是不回头地涨。我盯着那条曲线看了十分钟，心...
jackcode 6天前2026-07-22 14:59:38
内存管理、分布式、python爬虫、python-requests、动态代理
Canvas/Audio 浏览器指纹：从原理到绕过，一次讲清楚
先说结论：如果你在做数据采集，IP 轮换只是过了第一关。现在的大站反爬，真正拦你的不是 IP 频率，是浏览器指纹。而 Canvas 和 AudioContext...
jackcode 12天前2026-07-16 16:01:58
canvas、audio、浏览器、自动化测试工具、动态代理
免费代理IP为什么用不了：代理池的可用性检测与生命周期管理
先说结论，再说为什么。免费代理的问题不在"质量差"，而在它的衰减速度超过了你的补充速度。你花一上午爬了 5000 个代理，跑完验证剩大概 80 个，上线两小时还...
jackcode 14天前2026-07-14 14:28:14
网络通信、python、动态代理、代理服务器、网络协议
为什么爬虫并发拉到几百，吞吐反而掉了？记一次高并发爬虫性能瓶颈排查与实战
很多做过数据采集和爬虫扩容的兄弟，几乎都经历过这样一个令人抓狂的场景：你手里有一个刚写好的爬虫，开 20 个并发的时候，每秒能稳稳当当地处理 15 个页面。为...
jackcode 15天前2026-07-13 16:01:24
多进程、消息队列、python爬虫、高并发、html
2026架构前沿：将Declarative Crawler（声明式爬虫）引入你的技术栈
大家好，今天我们在 Mac mini 的终端前，来聊聊 2026 年数据工程领域的一个重要架构演进。
jackcode 19天前2026-07-09 14:24:50
python爬虫、动态代理、网页爬虫、python、requests
技术拆解：单页面应用（SPA）路由跳转后的数据抓取策略
爬虫开发者第一次撞上 SPA（Single Page Application），通常是这种场景：浏览器里点一个分类标签，列表刷出来了；用 requests 拉同...
jackcode 21天前2026-07-07 14:48:33
动态代理、异步、dom、自动化测试工具、数据采集
爬虫实战：如何优雅地抓取网页中隐藏在伪元素(::before)里的文本？
相信很多写过一段时间爬虫的同学大概率撞过这堵“隐形墙”：在浏览器里明明白白显示着"￥9.9"的价格，或者一段验证码文本，但当你切换到 DevTools 时，发现...
jackcode 22天前2026-07-06 14:27:12
python、网页爬虫、beautifulsoup、xpath、python爬虫
手把手带你用Python撸一个多线程+代理池下载器
做数据采集的同行们，在爬虫进阶的路上肯定都遇到过这个瓶颈：当目标数据量从几百条飙升到十万级别，尤其是涉及图片、视频等多媒体文件时，普通的单线程下载不仅慢得让人怀...
jackcode 26天前2026-07-02 13:44:06
下载分发加速、动态代理、python爬虫、python、多线程
谈谈长连接（Keep-Alive）在超大规模爬虫抓取中的性能差距
大家好，欢迎回到我的技术专栏。在日均抓取量突破千万级别的爬虫场景里，连接管理是决定单机 QPS 和机器成本的关键因素。很多团队在初期用短连接跑得很顺，但当规模膨...
jackcode 27天前2026-07-01 15:29:06
动态代理、性能优化、python3、http、tls
实战：利用Playwright隐藏自动化特征（Stealth模式）的底层原理
大家好，今天我们来聊聊自动化爬虫中一个非常让人头疼的问题。很多兄弟经常遇到这样的场景：用Playwright写好的爬虫代码，本地跑得好好的，一放到服务器上就被目...
jackcode 28天前2026-06-30 14:37:50
python爬虫、python、playwright、自动化测试、浏览器
深度对比：Scrapy vs PySpider，谁更适合作为企业级分布式底层？
搭建一个日产千万级页面的企业级分布式爬虫系统，框架选型往往是决定项目生死的第一步。在 Python 生态中，Scrapy 和 PySpider 是提及率最高的两...
jackcode 29天前2026-06-29 14:03:36
python爬虫、动态代理、scrapy、pyspider、python
别只盯着HTML了！教你高效抓取并解析PDF/Excel隐藏附件？
在日常的数据采集工作中，大家可能会发现一个痛点：大多数的爬虫教程只教你怎么抓取HTML页面的数据。但在实际的业务场景里，像央行年报、政府公开数据、证券交易记录以...
jackcode 2026-06-252026-06-25 13:58:29
excel、html、python-requests、python、pdf
告别频繁崩溃与OOM：百万级Scrapy爬虫架构优化
不知道大家在日常开发中，有没有遇到过这种极其抓狂的场景：写了个 Scrapy 爬虫，跑十万级规模的项目稳如老狗，一旦把目标定到百万级页面，系统就开始疯狂“作妖”...
jackcode 2026-06-242026-06-24 14:59:02
scrapy、python爬虫、架构设计、动态代理、浏览器
Python爬虫进阶：Playwright请求拦截（Request Interception）实战
大家好，在日常的爬虫开发和自动化抓取中，我们经常会遇到一些让人头疼的场景。比如目标网站加载了大量无关的图片和视频拖慢了抓取速度，或者通过检测请求头和前端特征来封...
jackcode 2026-06-232026-06-23 13:46:20
python、playwright、request、动态代理、网络爬虫
那些年我们踩过的坑：如何处理网页爬取中的中文字符集乱码（GBK/UTF-8）？
作为一名在爬虫坑里摸爬滚打多年的老兵，今天必须来聊聊这个让无数新手甚至老鸟都痛不欲生的终极暗器——网页乱码。
jackcode 2026-06-222026-06-22 13:43:38
动态代理、content-type、网页爬虫、http、python-requests
全面复盘：BeautifulSoup在处理大规模脏数据时的崩溃问题与解法
大家好，今天我们来聊聊一个老生常谈、却又常常让人在生产环境中痛不欲生的话题——大规模脏数据处理。
jackcode 2026-06-172026-06-17 14:12:24
python、大数据、html、python爬虫、beautifulsoup
告别 403 与空数据！爬虫新手避坑指南：如何优雅地抓取 Ajax 异步加载数据
今天，我们就从底层原理聊起，手把手教你如何拆解 Ajax 异步接口，并用最优雅、最高效的方式把这些隐藏在幕后的真实数据“扒”出来！
jackcode 2026-06-102026-06-10 13:59:33
python爬虫、requests、动态代理、http-status-code-403、ajax
为什么说掌握了HTTP协议状态码，就解决了50%的爬虫报错
在爬虫圈子里，经常能看到新手在各大技术社区发帖求助：“为什么我的爬虫昨天还好好的，今天就报错了？”、“刚爬了不到百条数据就返回空，是不是被反爬了？”
jackcode 2026-06-092026-06-09 16:27:16
http、python、python爬虫、网络爬虫、网页爬虫

12 3 4 5 6 7 8...26 下一页

个人简介

暂未填写公司和职称
暂未填写个人简介
暂未填写技能专长
暂未填写学校和专业
暂未填写个人网址
暂未填写所在城市
加入社区时间：2020-09-11

个人成就

获得 714 次赞同
文章被阅读 573.9K 次

关注了：4关注者：26

jackcode

全部文章

那些每秒抓取数万次的系统，底层架构到底是怎么设计的？

如何设计一套高可用的爬虫任务队列，保证断点续爬与故障转移？

深入内存优化：如何防止分布式爬虫在长时运行中导致的内存暴涨？

Canvas/Audio 浏览器指纹：从原理到绕过，一次讲清楚

免费代理IP为什么用不了：代理池的可用性检测与生命周期管理

为什么爬虫并发拉到几百，吞吐反而掉了？记一次高并发爬虫性能瓶颈排查与实战

2026架构前沿：将Declarative Crawler（声明式爬虫）引入你的技术栈

技术拆解：单页面应用（SPA）路由跳转后的数据抓取策略

爬虫实战：如何优雅地抓取网页中隐藏在伪元素(::before)里的文本？

手把手带你用Python撸一个多线程+代理池下载器

谈谈长连接（Keep-Alive）在超大规模爬虫抓取中的性能差距

实战：利用Playwright隐藏自动化特征（Stealth模式）的底层原理

深度对比：Scrapy vs PySpider，谁更适合作为企业级分布式底层？

别只盯着HTML了！教你高效抓取并解析PDF/Excel隐藏附件？

告别频繁崩溃与OOM：百万级Scrapy爬虫架构优化

Python爬虫进阶：Playwright请求拦截（Request Interception）实战

那些年我们踩过的坑：如何处理网页爬取中的中文字符集乱码（GBK/UTF-8）？

全面复盘：BeautifulSoup在处理大规模脏数据时的崩溃问题与解法

告别 403 与空数据！爬虫新手避坑指南：如何优雅地抓取 Ajax 异步加载数据

为什么说掌握了HTTP协议状态码，就解决了50%的爬虫报错

个人简介

个人成就

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐