你也许没学过python这门语言,也不懂python这门语言在爬取内容网站有多么的强悍!
懂不懂这些似乎并没有那么重要!
重要的是你看完这篇文章,你就会懂得简单的网页爬取技术!
今天在这里我就手把手教会一个小白是如何去用python爬取网页内容!
第一步,新建项目名为Sign
第二步,在项目Sign>.idea文件夹下添加sign.py文件
第三步,先把爬取网页内容需要用到的模块先添加进来,这些模块分别有什么作用,在这里先不做解释,等用到的时候会在下文解释有何作用
这些我们都准备好了,接下来我们就去寻找一个目标,我寻找到的是一个签名设计的网址,http://www.jiqie.com/a/14.htm,首先打开这个网址如下图所示:注意(我用的是火狐浏览器)
我输入“目标”两个字>按“F12”>然后点击“给我设计”,就会发现以下我们感兴趣的内容
发现点击“给我设计”的时候会向该网址:http://www.jiqie.com/a/re14.php 发送POST请求,到这里了我们看看发送POST请求时会像该网址发送什么参数呢?
参数找到了。
接下来我们就该用代码模拟浏览器发送POST请求获取我们感兴趣的东西了,那我们就回到写代码的步骤了,
首先写代码模拟浏览器发送POST请求,得要确定两个目标,第一个是发送POST请求的网址,第二发送
POST请求时是要用到的参数,
这里的网址是 :http://www.jiqie.com/a/re14.php
参数是:
'wb'
领取专属 10元无门槛券
私享最新 技术干货