咱们今天就爬取某国的国粹爱情动作电影系列
准备好了,就上车了呀
滴~学生卡~
上
车
准
备
开发环境: python3.6.1+window64+idea14
使用到的第三方库:pymysql xlrd xlwt xlutils beautifulsoup requests
声明一个爬虫类Crawer,requests负责抓取目标网页信息
获取到目标信息后,使用beautifulsoup解析
判断添加到数据库
现在写requests爬取数据:
我们把保存数据的操作写了,最后再把涉及到html解析的部分补上来。。
最后就到获取到的html解析过程了:
使用谷歌浏览器F12-右键目标html代码-copy-选择copy selector,会得到目标代码的html相对位置信息
body > div:nth-child(10) > div > ul > li:nth-child(1) > li
根据这些数据来进行beautifulsoup定位
okay,写完,我是不会告诉你们网址的。。。
作者:MarcoHorse
源自:
https://www.jianshu.com/p/b39e58dbde46
声明:文章著作权归作者所有,如有侵权,请联系小编删除
领取专属 10元无门槛券
私享最新 技术干货