实现自动化数据抓取：使用Node.js操控鼠标点击与位置坐标

npm install puppeteer axios

const puppeteer = require('puppeteer');

// 代理IP配置 16yun爬虫代理
const proxyHost = '代理服务器域名'; 
const proxyPort = '代理服务器端口';  
const proxyUsername = '代理用户名'; 
const proxyPassword = '代理密码';  

// User-Agent和Cookie配置
const userAgent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36';
const cookies = [
    {
        name: 'cookie_name',  // 根据需要替换
        value: 'cookie_value',
        domain: '.thepaper.cn'
    }
];

// 目标网站
const targetUrl = 'https://www.thepaper.cn';

(async () => {
    // 启动浏览器并设置代理
    const browser = await puppeteer.launch({
        headless: false,  // 显示浏览器窗口便于调试
        args: [
            `--proxy-server=http://${proxyHost}:${proxyPort}`
        ]
    });

    const page = await browser.newPage();

    // 设置User-Agent
    await page.setUserAgent(userAgent);

    // 设置Cookie
    await page.setCookie(...cookies);

    // 输入代理认证信息
    await page.authenticate({ username: proxyUsername, password: proxyPassword });

    // 访问目标页面
    await page.goto(targetUrl, { waitUntil: 'networkidle2' });

    // 等待页面加载完成
    await page.waitForSelector('.news_content');  // 假设新闻内容在此CSS选择器中

    // 模拟鼠标点击某个分类标签（例如“热点”）
    const categorySelector = '.some-category-selector'; // 替换为实际的分类按钮选择器
    if (await page.$(categorySelector) !== null) {
        await page.click(categorySelector);
        console.log('点击了新闻分类标签');
        await page.waitForTimeout(2000);  // 等待页面加载新内容
    }

    // 选择并点击一个新闻标题，模拟进入新闻详情页面
    const newsTitleSelector = '.news_content .news_title';  // 假设新闻标题在此选择器中
    const newsTitle = await page.$(newsTitleSelector);
    if (newsTitle !== null) {
        const boundingBox = await newsTitle.boundingBox();  // 获取元素的位置信息
        await page.mouse.move(boundingBox.x + boundingBox.width / 2, boundingBox.y + boundingBox.height / 2);  // 移动鼠标到新闻标题
        await page.mouse.click(boundingBox.x + boundingBox.width / 2, boundingBox.y + boundingBox.height / 2);  // 模拟点击
        console.log('点击了新闻标题，进入新闻详情页面');
        await page.waitForTimeout(2000);  // 等待详情页面加载
    }

    // 抓取新闻详情页面中的内容
    const newsData = await page.evaluate(() => {
        const titleElement = document.querySelector('.news_content .news_title');  // 替换为详情页面中的标题选择器
        const contentElement = document.querySelector('.news_content .news_body');  // 替换为详情页面中的正文选择器
        return {
            title: titleElement ? titleElement.innerText : '',
            content: contentElement ? contentElement.innerText : ''
        };
    });

    console.log('抓取的新闻详情数据：', newsData);

    // 关闭浏览器
    await browser.close();
})();