Puppeteer的高级用法：如何在Node.js中实现复杂的Web Scraping

原创

jackcode

修改于 2024-09-25 10:19:30

1560

修改于 2024-09-25 10:19:30

文章被收录于专栏：爬虫资料

背景/引言

在现代Web开发中，数据采集已成为一项重要技术，尤其是在财经领域。以“东财股吧”（https://guba.eastmoney.com）为例，该网站汇聚了大量股民的实时讨论和财经信息，为投资决策提供了丰富的参考数据。Puppeteer是一个强大的Node.js库，允许开发者以编程方式控制无头Chrome浏览器，进行高效、复杂的Web Scraping。本文将探讨Puppeteer的高级用法，特别是在财经数据采集中的应用，结合代理IP技术以提高爬虫的可靠性和效率。

正文

1. Puppeteer简介

Puppeteer为开发者提供了一套丰富的API，可以用来控制浏览器进行数据抓取、页面操作和自动化测试。其无头模式允许在不显示图形界面的情况下运行，适合于服务器环境下的爬虫。

2. 代理IP的使用

为了避免IP封禁和提高抓取效率，我们可以使用代理IP技术。以下示例中，我们将使用爬虫代理，设置域名、端口、用户名和密码。

3. 设置User-Agent和Cookies

User-Agent和Cookies在模拟真实用户行为时至关重要。我们将在代码中设置这些参数以提高抓取的成功率。

实例

以下是使用Puppeteer进行财经数据采集的示例代码，以“东财股吧”为目标进行数据分析和存储：

const puppeteer = require('puppeteer');
const fs = require('fs');

// 代理设置 爬虫代理 
const proxy = {
  host: 'proxy.16yun.cn', // 爬虫代理的域名
  port: 'your-proxy-port',     // 爬虫代理的端口
  username: 'your-username',   // 爬虫代理的用户名
  password: 'your-password'     // 爬虫代理的密码
};

(async () => {
  // 启动浏览器
  const browser = await puppeteer.launch({
    headless: true, // 无头模式
    args: [
      `--proxy-server=http://${proxy.username}:${proxy.password}@${proxy.host}:${proxy.port}` // 代理配置
    ]
  });

  const page = await browser.newPage();

  // 设置User-Agent
  await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3');

  // 设置Cookies
  await page.setCookie({
    name: 'example_cookie',
    value: 'cookie_value',
    domain: 'guba.eastmoney.com'
  });

  // 访问东财股吧页面
  await page.goto('https://guba.eastmoney.com', {
    waitUntil: 'networkidle2' // 等待网络空闲
  });

  // 抓取数据
  const data = await page.evaluate(() => {
    const posts = Array.from(document.querySelectorAll('.article-item')); // 获取文章项
    return posts.map(post => ({
      title: post.querySelector('.article-title').innerText, // 文章标题
      author: post.querySelector('.author').innerText,       // 作者
      date: post.querySelector('.date').innerText,           // 日期
      content: post.querySelector('.content').innerText      // 内容
    }));
  });

  // 将数据保存到JSON文件
  fs.writeFileSync('guba_data.json', JSON.stringify(data, null, 2));
  console.log('数据已保存至 guba_data.json');

  await browser.close(); // 关闭浏览器
})();