牛逼！16.2K Star！推荐一款开源的网络爬虫和浏览器自动化库：Crawlee！

测试开发技术

发布于 2025-03-06 23:34:45

300

代码可运行

运行总次数：0

代码可运行

在当今的互联网世界中，网络爬虫作为一种重要的工具，被广泛应用于数据收集、内容监控、SEO优化以及自动化测试等多个领域。随着技术的不断进步，各种开源的网络爬虫库也应运而生。今天，我向大家推荐一款非常优秀的开源项目——Crawlee，它是一个适用于Node.js的网页抓取和浏览器自动化库，目前在GitHub上拥有超过16.2K的星标。

一、Crawlee 简介

Crawlee 是一款基于 Playwright 和 Puppeteer 的开源网络爬虫和浏览器自动化库。它提供了一套简洁、易用的 API，帮助开发者快速实现网页内容抓取、浏览器自动化操作等功能。Crawlee 支持多种编程语言，包括 JavaScript、Python、TypeScript 等，可广泛应用于数据挖掘、自动化测试、网页监控等领域。

官网：https://crawlee.dev/

二、功能特点

Crawlee提供了丰富的功能和工具，能够满足多种抓取需求。

强大的抓取能力: Crawlee 支持抓取各种类型的网页，包括静态页面、动态页面、登录认证页面等。通过内置的请求队列和自动重试机制，Crawlee 能够高效地处理大规模抓取任务。
多种文件下载支持：Crawlee支持从网站下载HTML、PDF、JPG、PNG等各种文件，满足多样化的数据收集需求。
多种抓取工具：Crawlee兼容Puppeteer、Playwright、Cheerio、JSDOM和原生HTTP，提供了丰富的抓取选择。这些工具可以帮助开发者更高效地解析和处理网页内容。
支持有头模式和无头模式：Crawlee支持头部模式（headful）和无头模式（headless），开发者可以根据需求选择最适合的模式。无头模式可以在没有图形界面的情况下运行，节省系统资源。
浏览器自动化: 基于 Playwright 和 Puppeteer，Crawlee 可以模拟真实用户在浏览器中的操作，如点击、滚动、输入等。这使得 Crawlee 能够应对复杂的网页交互场景，如验证码识别、滑动验证等。
Crawlee 提供了灵活的队列管理功能，支持多种队列类型（如优先级队列、定时队列等），方便开发者根据需求调整抓取策略。
数据存储 Crawlee 支持将抓取到的数据存储到多种数据库和存储系统中，如 MySQL、MongoDB、Elasticsearch 等，方便后续数据处理和分析。
分布式爬虫 Crawlee 支持分布式爬虫部署，可轻松实现多节点协同工作，提高抓取效率。
丰富的插件生态 Crawlee 拥有一个活跃的社区，提供了大量实用插件，如代理插件、数据分析插件等，助力开发者高效完成爬虫项目。

三、Crawlee的使用示例

1、安装Crawlee非常简单，只需使用npm进行安装：

npm install crawlee playwright

Crawlee requires Node.js 16 or higher

2、以下是一个简单的使用示例，展示了如何使用Crawlee抓取网页标题：

const { PuppeteerCrawler, Dataset } = require('crawlee');
 
const crawler = new PuppeteerCrawler({
  async requestHandler({ page, request }) {
    console.log(`Processing: ${request.url}`);
    const title = await page.title();
    await Dataset.pushData({ url: request.url, title });
  },
});
 
await crawler.run(['https://www.baidu.com']);

这个示例代码创建了一个PuppeteerCrawler实例，并定义了一个requestHandler来处理每个请求。在requestHandler中，我们使用Puppeteer的page对象获取网页标题，并将结果推送到Dataset中。