PHP编写图书信息爬虫程序

原创

华科云商小徐

发布于 2025-05-12 07:09:26

5200

代码可运行

文章被收录于专栏：小徐学爬虫小徐学爬虫

运行总次数：0

代码可运行

最近闲来无事，有个朋友问我他在用PHP写一个抓取图书信息的爬虫程序出现了一些BUG，想要让我看下帮他修改，无奈写的语法太过复杂凌乱，索性我重头再来，直接用自己的方式写了一篇给他一些思路做参考。

以下是一个使用PHP编写的简单图书信息爬虫示例，使用 GuzzleHttp 发送HTTP请求和 Symfony DomCrawler 解析HTML内容：

<?php
require 'vendor/autoload.php';

use GuzzleHttp\Client;
use Symfony\Component\DomCrawler\Crawler;

// 创建HTTP客户端
$client = new Client([
    'headers' => [
        'User-Agent' => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
    ]
]);

// 存储结果的CSV文件
$csvFile = fopen('books.csv', 'w');
fputcsv($csvFile, ['书名', '作者', '价格', '评分', '简介']);

// 示例：爬取豆瓣读书的编程类书籍（实际使用时请遵守网站规则）
$baseUrl = 'https://book.douban.com/tag/编程?start=%d';

for ($page = 0; $page < 3; $page += 20) { // 爬取3页
    try {
        $response = $client->get(sprintf($baseUrl, $page));
        $html = (string)$response->getBody();
        
        $crawler = new Crawler($html);
        
        // 提取图书信息
        $crawler->filter('li.subject-item')->each(function (Crawler $node) use ($csvFile) {
            $title = $node->filter('h2 a')->text();
            $info = $node->filter('.pub')->text();
            $rating = $node->filter('.rating_nums')->text('暂无评分');
            $desc = $node->filter('.info p')->text('暂无简介');
            
            // 清理数据
            $info = trim(str_replace(["\n", " "], "", $info));
            list($author, $publisher, $price) = explode('/', $info, 3) + ['', '', ''];

            fputcsv($csvFile, [
                trim($title),
                trim($author),
                trim($price),
                trim($rating),
                trim($desc)
            ]);
        });
        
        echo "已抓取第 ".($page/20+1)." 页数据\n";
        sleep(1); // 遵守爬虫道德，添加延迟

    } catch (Exception $e) {
        echo "抓取失败: ".$e->getMessage()."\n";
    }
}

fclose($csvFile);
echo "数据已保存到 books.csv\n";

使用说明

安装依赖： composer require guzzlehttp/guzzle symfony/dom-crawler
注意事项：
- 需遵守目标网站的robots.txt规则
- 添加适当的请求延迟（示例中为1秒）
- 需要处理可能出现的反爬机制（验证码、IP封禁等）
- 实际应用中建议使用代理IP池

核心功能说明

HTTP请求：
- 使用Guzzle模拟浏览器请求
- 添加User-Agent头避免被简单拦截
数据解析：
- 通过CSS选择器定位元素
- 提取书名、作者、价格等信息
- 处理可能缺失的数据字段
数据存储：
- 使用CSV格式存储结果
- 包含字段：书名、作者、价格、评分、简介
分页处理：
- 通过URL参数控制分页
- 示例抓取3页数据（可调整循环次数）

扩展建议

反爬应对：

// 随机延迟
sleep(rand(1, 3));

// 使用代理
$client = new Client([
    'proxy' => 'http://user:pass@proxy:port'
]);

数据库存储：

// 使用PDO存储到MySQL
$pdo = new PDO('mysql:host=localhost;dbname=books', 'user', 'pass');
$stmt = $pdo->prepare("INSERT INTO books (...) VALUES (...)");
$stmt->execute([...]);

异步请求：

// 使用Guzzle的异步并发
$promises = [];
foreach ($urls as $url) {
    $promises[] = $client->getAsync($url);
}
$results = GuzzleHttp\Promise\unwrap($promises);