网络爬虫的基本原理及其实现过程
1、对爬取目标的定义和描述。在聚焦网络爬虫中,我们首先要依据爬取需求定义好该聚焦网络爬虫爬取的目标,以及进行相关的描述。
2、获取初始的URL。
3、根据初始的URL爬取页面,并获得新的URL。
4、从新的URL中过滤掉与爬取目标无关的链接。因为聚焦网络爬虫对网页的爬取是有目的性的,所以与目标无关的网页将会被过滤掉。同时,也需要将已爬取得URL地址存放到一个URL列表中,用于去重和判断爬取的进程。
5、将过滤后的链接放到URL队列中。
6、从URL队列中,根据搜索算法,确定URL的优先级,并确定下一步要爬取得URL地址。在通用网络爬虫中,下一步爬取哪些URL地址,是不太重要的,但是在聚焦网络爬虫中,由于其具有目的性,故而下一步爬取哪些URL地址相对来说是比较重要的。对于聚焦网络爬虫来说,不同的爬取顺序,可能导致爬虫的执行效率不同,所以,我们需要依据搜索策略来确定下一步需要爬取哪些URL地址。
7、从下一步要爬取得URL地址中,读取新的URL,然后依据新的URL地址爬取网页,并重复上述爬取过程。
8、满足系统中设置的停止条件时,或无法获取新的URL地址时,停止爬行。
好了,就给大家介绍这么多 仅供参考
领取专属 10元无门槛券
私享最新 技术干货