爬虫利器：jsDOM

biaoblog.cn 个人博客

发布于 2022-08-11 19:38:22

30400

代码可运行

文章被收录于专栏：web技术开发分享web技术开发分享

运行总次数：0

代码可运行

需求：之前使用node做爬虫的时候，使用puppeteer来模拟浏览器

然后抓取信息

但是这样的效率和消耗太大了，

所以需要一种更为效率的方法：直接使用axios来请求对应的url

然后通过jsDom,渲染成一个虚拟的html然后进行取值

废话不多说直接上代码：

先安装jsdom

npm i jsdom

然后写下面实例化

const jsdom = require("jsdom");
const { JSDOM } = jsdom;
const dom = new JSDOM(`<!DOCTYPE html><p>Hello world</p>`);
console.log(dom.window.document.querySelector("p").textContent); // "Hello world"

基础的代码逻辑明白了之后，

把它使用到我们正常的业务里面：

axios
  .get(url)
  .then((res) => {
       //注意：需要先return 一次 再下一个回调里面进行渲染，因为获取的html数据多的时候 就可能导致实例化失败
    return res.data;
  })
  .then((html) => {
    let dom = new JSDOM(`${html}`);
        //抓取到想要的元素的信息
     console.log(
       dom.window.document.querySelector(".product-single__title").textContent
     );
  });

参考地址：https://www.npmjs.com/package/jsdom

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

如有侵权请联系 cloudcommunity@tencent.com 删除

html