理解什么是爬虫管理平台定义

最近需要收集资料，在浏览器上用另存为的方式实在是很麻烦，而且不利于存储和检索。所以自己写了一个小爬虫，在网上爬东西，迄今为止，已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构：

爬虫的原理其实很简单，就是分析下载的页面，找出其中的链接，然后再下载这些链接，再分析再下载，周而复始。在数据存储方面，数据库是首选，便于检索，而 开发语言，只要支持正则表达式就可以了，数据库我选择了mysql，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方 便，支持http下载，而且windows系统和linux系统都可以部署。

正则表达式:

正则表达式是处理文字的基本工具，要取出html中的链接和图片，使用的正则表达式如下。

代码如下:

```c

"#]+href=(['\"])(.+)\\1#isU" 处理链接

"#]+src=(['\"])(.+)\\1#isU" 处理图片

```

其他问题:

写爬虫还需要注意的一个问题是，对于已经下载过的url，不能重复进行下载，而有些网页的链接会形成环路，所以需要处理这个问题，我的处理方法是计算已经 处理的url的MD5 值，并存入数据库，这样就可以检验是否已经下载过。当然还有更好的算法，有兴趣的话，可以在网上找一下。

相关协议:

爬虫也有自己的协议，有个robots.txt文件定义了哪些是网站允许遍历的，但是由于我的时间有限，没有实现这个功能。

其他说明:

php支持类编程,我写的爬虫主要的类.

1.url处理web_site_info，主要用处理url，分析域名等。

2.数据库操作mysql_insert.php,处理和数据库相关的操作。

3.历史记录处理，记录已经处理的url。

4.爬虫类。

存在的问题和不足

这个爬虫在小数据量的情况下，运行良好，但是在大数据量的情况下，历史记录处理类的效率就不是很高，通过在数据库结构中，对相关字段进行了索引，速度有了 提高，但是需要不断地读取数据，可能和php本身的array实现有关系，如果一次加载10万条历史记录，速度非常慢。

不支持多线程，每次只能处理一个url。

php运行本身有内存使用量限制

使用的时候，先在mysql中创建net_spider数据库，然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。

最后

代码如下:

```c

php -f spider.php 深度(数值) url

```