用Puppeteer点击与数据爬取：实现动态网页交互

npm install puppeteer

const puppeteer = require('puppeteer');

// 配置代理信息（16yun爬虫代理示例）
const proxyHost = 'proxy.16yun.cn'; // 代理域名
const proxyPort = '8000';              // 代理端口
const proxyUser = 'username';           // 用户名
const proxyPass = 'password';           // 密码

(async () => {
    // 启动浏览器并设置代理
    const browser = await puppeteer.launch({
        headless: true, // 是否为无头模式，设置为false可见浏览器操作
        args: [
            `--proxy-server=http://${proxyHost}:${proxyPort}` // 配置代理服务器
        ]
    });
    
    // 创建新页面
    const page = await browser.newPage();

    // 设置User-Agent
    await page.setUserAgent('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.102 Safari/537.36');

    // 配置代理身份验证
    await page.authenticate({
        username: proxyUser,
        password: proxyPass
    });

    // 设置Cookies（例如登录时的Session或特定用户配置）
    await page.setCookie({
        name: 'example_cookie_name',
        value: 'example_cookie_value',
        domain: '.51job.com',
        path: '/'
    });

    try {
        // 访问51job主页
        await page.goto('https://www.51job.com/', { waitUntil: 'networkidle2' });

        // 等待并点击页面中的"企业招聘"按钮
        await page.waitForSelector('a#some-button-selector'); // 替换为实际按钮选择器
        await page.click('a#some-button-selector');

        // 等待跳转并加载内容
        await page.waitForSelector('.job-item'); // 等待加载招聘信息
        const jobList = await page.$$('.job-item'); // 获取所有招聘条目

        for (const job of jobList) {
            const jobTitle = await job.$eval('.job-title', el => el.innerText); // 职位名称
            const companyName = await job.$eval('.company-name', el => el.innerText); // 公司名称
            const contactInfo = await job.$eval('.contact-info', el => el.innerText); // 联系方式
            
            console.log(`职位：${jobTitle}`);
            console.log(`公司：${companyName}`);
            console.log(`联系方式：${contactInfo}`);
            console.log('---------------------------');
        }
    } catch (error) {
        console.error('爬取出现问题：', error);
    } finally {
        // 关闭浏览器
        await browser.close();
    }
})();