Scrapyd 是业内最优秀的爬虫框架之一 Scrapy 官方出品的部署管理平台。有了它,你就可以通过 API 向指定的爬虫发起指令,并且可以通过 Web 页面来查看爬虫的运行记录与状态等信息。
将爬虫部署到服务器是大部分爬虫工程师必备的技能,这个技能可以为你的职业价值锦上添花。
网上关于 Scrapyd 的资料比较少,除了官方文档之外,只有一些比较零散的教程文章,远远无法满足大部分开发者的技能需求。
于是,一位资深爬虫工程师、开源项目 ScrapydArt 作者-韦世东撰写了一本小册子,梳理了自己多年爬虫项目实践经验,以帮助更多工程师逐步实现「唯你可用」的爬虫部署管理控制台。
册子分为几个大的部分:
基础篇:熟练应用打包工具,学会爬虫的打包和部署
进阶篇:代码调试方法以及源码阅读技巧
实战篇:装饰器知识的原理和应用
大型实战篇:基于 Scrapyd 进行扩展的能力
小册子将通过 Scrapy 项目打包部署、Scrapyd 目录结构分析、功能模块释义和源码剖析来深入浅出的讲解相关功能的原理,并且通过自定义 API、增加统计数据和界面美化等实践来进一步加深你对 Scrapyd 的理解。最终达到可以随心所欲的将 Scrapyd 的功能进行扩展,从而实现自己想要的爬虫部署管理控制台。
这本册子,是迄今为止,对 Scrapyd 总结的相当通俗,全面,而且理论结合实践的资料。小册图文并茂,直观易懂,下面的动画大家感受一下。
有没有感受到册子的诚意?
为了写出更好的文字,更好服务技术人,小册子选择了收取一些费用。该册子,通过下方海报购买是8折优惠,23.92元,限时一周。
目前一些章节免费,欢迎扫码阅读。
扫码免费阅读部分章节
对Scrapy不感兴趣也没关系,大家帮转发一下,让更多的原创干货被更多的技术人看到,感谢。
领取专属 10元无门槛券
私享最新 技术干货