首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

Python在手,段子我有

本文分享自己学爬虫的一个代码。该代码实现的是使用urllib2爬取http://www.neihanpa.com/article/网站的段子。小编也正处于学习python的阶段,如有什么错误,欢迎留言指出。

实现环境

mac 10.13.2

python 2.7

实现源码

代码解释

由于刚开始接触Python爬虫,所以使用的是urlib2+正则表达式的方式来对爬取的数据进行的处理。当然有更好更方便的方式,后续会对这个代码进行持续的更新。比如改用request模块等

由于这个网站,在显示段子列表页里,只显示了段子的一部分内容,所以在代码里爬取列表页获取到部分段子,通过对获取到的部分段子进行处理,拿到能得到完整段子的url,再进行进一步的爬取

效果演示

最近刚配置了一下vim编辑器,使它可以显示行号,代码能自动提示,同时能显示文档结构。然后更改了主题(程序员对这种暗黑色的代码主题都情有独钟啊)。配置过程遇到很多问题,有时间会再总结下相关操作。

属于自己的皮球

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180203G01VI300?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券