首页
学习
活动
专区
圈层
工具
发布

花瓣简单的爬虫-02

人生苦短,我用Python!

运行效果

最近沉迷爬虫,感觉超级方便

记录一下

这是简单的爬虫程序,用到urllib和re以及os

后期版本再加:动态加载,cookie登录,多线程优化

下面放代码

思路:和上一篇的简单爬虫-01使用的是相同的函数,request.urlopn()获取网页HTML、request.urlretrieve()函数下载HTML中的图片。 不同之处是在简单爬虫的外面嵌套一个循环,是的在首页开始就能够查找子链接并且使用os()函数来自动创建一个对应的文件夹来保存下载下来的图片。

不足之处:只是静态页面的爬虫,没有动态加载,以及多线程优化,没有简单的cookie登陆账号,没有使用XPath,值得深挖!

【完】

PS:代码入门级别,用作个人记录使用。

2018年3月24日 二月初八

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180324G00LB900?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。
领券