本文分享自己学爬虫的一个代码。该代码实现的是使用urllib2爬取http://www.neihanpa.com/article/网站的段子。小编也正处于学习python的阶段,如有什么错误,欢迎留言指出。
实现环境
mac 10.13.2
python 2.7
实现源码
代码解释
由于刚开始接触Python爬虫,所以使用的是urlib2+正则表达式的方式来对爬取的数据进行的处理。当然有更好更方便的方式,后续会对这个代码进行持续的更新。比如改用request模块等
由于这个网站,在显示段子列表页里,只显示了段子的一部分内容,所以在代码里爬取列表页获取到部分段子,通过对获取到的部分段子进行处理,拿到能得到完整段子的url,再进行进一步的爬取
效果演示
最近刚配置了一下vim编辑器,使它可以显示行号,代码能自动提示,同时能显示文档结构。然后更改了主题(程序员对这种暗黑色的代码主题都情有独钟啊)。配置过程遇到很多问题,有时间会再总结下相关操作。
属于自己的皮球
领取专属 10元无门槛券
私享最新 技术干货