Cheerio奇怪的解析
Cheerio是一个基于Node.js的快速、灵活、精简的HTML解析库。它提供了类似于jQuery的语法和API，使得在服务器端对HTML进行解析和操作变得更加简单和高效。
Cheerio的主要特点包括：
- 快速高效：Cheerio使用了类似于jQuery的选择器语法，可以快速定位和操作HTML元素，解析速度非常快。
- 简单易用：Cheerio的API设计简洁明了，学习成本低，使用起来非常方便。
- 轻量级：Cheerio的体积非常小，没有依赖其他库，可以很容易地集成到Node.js项目中。
- 跨平台：Cheerio可以在Node.js环境下运行，也可以在浏览器端使用，具有很好的跨平台兼容性。
Cheerio适用于以下场景：
- 网页爬虫：Cheerio可以帮助开发者快速解析网页内容，提取所需的数据，用于数据采集、搜索引擎优化等应用。
- 数据处理：Cheerio可以对HTML进行灵活的操作和处理，例如修改DOM结构、提取特定元素、替换文本等，方便进行数据清洗和转换。
- 模板引擎：Cheerio可以作为模板引擎的一部分，用于解析和渲染HTML模板，生成最终的页面内容。
腾讯云提供了一系列与HTML解析相关的产品和服务，例如：
- 腾讯云函数（SCF）：腾讯云函数是一种无服务器计算服务，可以将Cheerio集成到函数中，实现对HTML的解析和处理。
- 腾讯云API网关：腾讯云API网关可以作为HTTP触发器，将请求转发给后端的Cheerio函数，实现对HTML的解析和处理。
- 腾讯云COS：腾讯云对象存储（COS）可以用于存储HTML文件，Cheerio可以从COS中读取HTML文件进行解析和处理。
更多关于腾讯云相关产品和服务的介绍，请访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
我想从超过1000个urls的列表中获得网页正文(我的目标是使用cheerio进行抓取)。问题是，我得到了一个奇怪的GUNZIP结果，而我无法获得body标记的内容。这是我正在使用的代码(我不能使用简单的“请求”，因为它遗漏了一些请求)
var async = require('async');
var fetch = require('isomorphic-unfetch');
const cheerio = require('cheerio');
let urls= // reading a list of ~1000 URLs from
浏览 0提问于2017-11-21得票数 0
当我使用Nodejs请求HTML页面时，我遇到了一个奇怪的行为。当我使用浏览器请求页面时，返回的响应(HTML格式)不同。主要是图像SRC在这两种情况下是不同的。
下面的代码包含了返回页面的截图：(我尝试使用axios、needlejs、requestsjs和puppeteerjs，但也遇到了同样的问题)
const axios = require('axios')
const cheerio = require("cheerio");
axios.get('https://www.amazon.de/dp/B079N6SKDD')
.th
浏览 2提问于2020-11-26得票数 0
我有个刮刀，它用的是cheerio。
var cheerio = require('cheerio');
$ = cheerio.load(s, { decodeEntities: true });
var sel = $('.text');
cheerio(sel).find(selector)
当我在本地调用它时，它工作得很好。当我在带有Cent OS的服务器上调用它，但在本地使用相同的节点版本(12.18.3)时，我得到了cheerio is not a function错误。我清除了本地和远程上的node_modules文件夹，并进行了npm insta
浏览 0提问于2021-06-09得票数 1
const cheerio = require('cheerio');
const HTML = `<tbody>
<tr>
<th>
Team Name
</th>
<th>
Year
</th>
<th>
Wins
</th>
<th>
Losses
</th>
</tr>
</tbody>
`;
c
浏览 67提问于2021-07-21得票数 1
我已经创建了两个文件，一个是index.js文件，另一个是image.js file.The数据存储在json文件中。
index.js
const image=require('./image');
const request=require('request');
const axios = require("axios");
const cheerio = require("cheerio");
const fs = require("fs");
const url = "https://www.go
浏览 0提问于2021-06-14得票数 0
我最近开始与NodeJS和Cheerio合作。我将获得一个外部URL，并使用Cheerio加载html。
我偶然发现了一个问题，每当我试图获得元素的css属性时，$.css([property])总是返回null，不管我给它提供了什么选择器或属性。
我在做的是：
var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
app = expr
浏览 3提问于2016-05-11得票数 2
回答已采纳
2回答
我正在运行一个节点脚本，该脚本读取.svg字体文件，将其作为字符串变量传递给Cheerio，对其进行修改并尝试写入磁盘 问题是，尽管脚本似乎可以工作，但输出文件与输入文件是相同的，就好像没有发生任何修改一样。 在我看来，我传递给cheerio的原始"svgFont“变量根本没有修改。 因此，我需要将修改传回给它，或者直接从cheerio输出到fs write。但我不知道该怎么做。 const cheerio = require('cheerio');
var fs = require('fs');
// read the svg font
fs.re
浏览 47提问于2019-02-06得票数 2
回答已采纳
我正在我的一个项目中使用Deno，我想用typedoc生成文档。我面临着很多依赖关系的问题，因为它们没有得到正确的解决，所以typedoc失败了。我有以下tsconfig.json {
"compilerOptions": {
"module": "amd",
"target": "esnext",
"baseUrl": ".",
"paths": {
"http://*": ["../../.
浏览 58提问于2020-10-14得票数 0
我正在尝试从远程页面获取div的背景图像，我使用cheerio进行DOM操作，但不能像jQuery那样使用css()函数。
这是我的代码：
var $ = cheerio.load(body,{ decodeEntities: false });
console.log($(".image").css('background-image'));
我知道cheerio只是一个DOM操作符，但是有什么方法可以从页面中获得这个background-image吗？
浏览 0提问于2019-05-20得票数 0
回答已采纳
所以我使用cheerio.js编写了一个web抓取应用程序。事情一直很顺利，直到我注意到cheerio $('tbody tr')没有返回任何东西，而当我在chrome中打开同一个网站时，jquery $('tbody tr')返回了表体中的所有行。在cheerio的body中，没有tbody，它的结构类似于<table><theader></theader><tr></tr><tr></tr></table>。Chrome做了这样的改变吗?是否cheerio错误地传
浏览 0提问于2015-08-17得票数 0
1回答
我正在用nodeJS制作一个网络爬虫，它可以工作，它调用页面，我使用cheerio转换成JQuery，并调用标记。
现在，我试图调用页面的注释，但问题是，我想要的标记在几秒钟后从Ajax请求中加载。我所做的请求-承诺找不到这个特定的标签，因为它会在稍后加载。
有什么办法可以让我找到装载的标签吗？
代码：
/* Requires */
var rp = require('request-promise');
var cheerio = require('cheerio');
//Page to crawl
var pageToVisit = "http
浏览 1提问于2017-08-14得票数 0
回答已采纳
当我尝试使用nodejs抓取一个reactjs网站时，我得到的只是index.html文件的内容，而不是网站中使用的标签。这是我尝试过的--
const request = require("request");
const cheerio = require("cheerio");
const URL = "https://pydata-jal.netlify.com/";
request(URL, (err, res, body) => {
if (!err && res.
浏览 30提问于2019-08-01得票数 1
回答已采纳
client.on("message", async function(msg) {
var request = require('request');
var cheerio = require('cheerio');
request('https://www.youtube.com/channel/UCVRhrcoG6FOvHGKehYtvKHg/videos', async function(err, resp, body) {
if(err) throw err; else {
let $
浏览 13提问于2020-01-23得票数 0
1回答
我在试着解析所有美国总统的名字和生日。首先，我得到所有的urls。我之前导出了一个模块，在该模块中，通过使用URL调用请求，我试图返回一个包含总统姓名和生日的对象。我无法检索主js文件中的数据。 我试图在不使用承诺的情况下做到这一点。 我要导出的模块： const request = require('request'); //to make HTML requests
const cheerio = require('cheerio');
const POTUSParse = function(url){
return request(url,(er
浏览 15提问于2019-05-22得票数 0
回答已采纳
1回答
我在抓取网站上的数据时遇到了麻烦。无法获取表格的标签<tbody>，也无法获取标签<tr>和<td>的内容文本。我使用cheerio来抓取数据。请帮帮我。代码如下： const cheerio= require('cheerio');
const request= require('request-promise');
request('https://liveboard.cafef.vn/',(error,response,html) => {
if(!error &
浏览 33提问于2021-09-07得票数 0
1回答
运行脚本时，结果总是“未定义”。
、、、、
我一直在尝试使用axios和cheerio迭代地从网页中抓取下一个页面链接。当我运行脚本时，结果总是得到undefined。在没有更多的链接之前，我如何获得下一页链接？
这是我目前的尝试：
const axios = require("axios");
const cheerio = require("cheerio");
const base = "https://stackoverflow.com";
const url = "https://stackoverflow.com/questions/tagged/web-scrapi
浏览 3提问于2021-09-26得票数 1
回答已采纳
我正在开发一个Node.js应用程序，它接收XHTML (汇流存储格式)，应该对其进行一些修改，然后将修改后的XHTML发回。XHTML可能包含HTML实体(如ö)和CDATA部分(如<![CDATA[test]]>)。
我遇到的挑战是，在我尝试过的解析器中，当我在HTML模式下解析片段时，CDATA部分会中断，但是当我在XML模式下解析它时，HTML实体就不会被正确地解释。
下面是一个示例，说明我如何在浏览器中使其工作，但如何使用jsdom和cheerio使其无法工作。我是否可以使用其他库来实现这一目标，或者使用jsdom或cheerio的其他方式？
在浏览器中
浏览 4提问于2021-10-26得票数 0
回答已采纳
1回答
嘿，我正在尝试访问节点中HTML请求的结果中的全局变量。我现在可以使用cheerio模块访问节点，但是我对如何访问全局页面变量感到困惑？
request(options, function(error, response, html) {
if (!error && response.statusCode == 200) {
var productData = {};
// access html with JQUERY
var $ = cheerio.load(html);
// is it possible to access global
浏览 2提问于2017-05-23得票数 0
我试着用Node.js / Cheerio来抓取Instagram (用React构建的)。调试文档显示返回的对象，但它不像典型的响应。
我猜这跟反应有关。有什么方法可以绕过这个问题，并使用Cheerio来解析呈现的DOM吗？还是我完全错过了什么？
浏览 5提问于2015-04-17得票数 14
回答已采纳
1回答
我正在使用cheerio搜索linkedin的工作部分，例如，下面的链接：
如果我使用chrome浏览该链接，它会将作业按页面拆分，但当我在Microsoft中浏览该链接时(我希望您也尝试查看)，只要我向下滚动到页面底部，它就会加载更多的作业。我的假设是，cheerio在幕后使用Microsoft，但我不确定，我也不知道如何修改它，甚至不知道这是否是一个好主意。
当我尝试抓取所有的工作时，我想问一下我在这种情况下的选择是什么，还有那些是动态呈现的，或者是在另一个页面中的。
我目前拥有的代码是：
const LINKEDIN_JOBS_OBJ = await axios.get(
浏览 12提问于2022-04-03得票数 0
1回答
我试图通过使用unirest和cheerio来抓取google图像，但当我发现解析没有正确进行时，我被困住了。这是我目前的代码：
const unirest = require("unirest");
const cheerio = require("cheerio");
const getData = async() => {
let count= [] , page_url = [];
let url =
"https://www.google.com/search?q=india&oq=india&
浏览 6提问于2022-06-12得票数 0
回答已采纳
2回答
我感谢每一个参与并将帮助新手的人。
任务:访问div =客户端状态，然后div =Here-并从数据状态返回json。
<div class="client-state">
<div id="Here-Goes-Some-Div-ID" data-state='{"items":[{"action":"LAYOUT"}]'>
</div>
我设法引用这样的div =客户端状态-
import cheerio from 'cheeri
浏览 5提问于2022-10-23得票数 0
回答已采纳
我发现有很多线程--甚至有几个项目使用github api以外的api嵌入了贡献日历--但这些方法或线程都没有真正回答这个问题。，但这是不可能的。
我只是想访问用户在github个人资料页面上的日历中显示的贡献总数，如下所示……
api文档描述了收集Repo Contrib数据，所以我尝试了盲目地使用有根据的猜测来戳api，但无济于事。有没有人偶然知道这些数据实际上是否有一个可行的端点？我真的需要自己计算这些信息，或者做一些肮脏的html抓取废话吗？这似乎很愚蠢..。有没有人？
更新:这里有一个使用cheerio和regex的解决方案，适用于任何正在寻找快速web抓取解决方案的人
c
浏览 7提问于2017-07-11得票数 3
2回答
我正在为一个项目做我的旅行飞行数据，但由于某种原因它不起作用。我试过很多选择器，但都没有用。另一方面，我也尝试用同样的逻辑刮去另一个站点，它起了作用。有人能指出我哪里出了问题吗？
我正在使用啦啦队和公理。
const cheerio = require('cheerio');
const axios = require('axios');
我的旅行：
axios.get('https://www.makemytrip.com/flight/search?itinerary=BOM-DEL-14/11/2020&tripType=O&pax
浏览 6提问于2020-11-13得票数 2
回答已采纳
2回答
我是一名.Net开发人员，刚接触javascript/node世界，在使用request-promise请求从网页中获取超文本标记语言时遇到了一些问题。我已经尝试了以下代码的变体。
import cheerio = require('cheerio');
import request = require('request-promise');
export class Address {
public html;
public $: CheerioStatic;
constructor() {
this.html =
浏览 77提问于2018-08-28得票数 0
回答已采纳
我用Cheerio解析我的请求是这样的：
var url = http://shop.nag.ru/catalog/16939.IP-videonablyudenie-OMNY/16944.IP-kamery-OMNY-c-vario-obektivom/16704.OMNY-1000-PRO;
request.get(url, function (err, response, body) {
console.log(body);
$ = cheerio.load(body);
console.log($(".description").html());
});
浏览 1提问于2015-07-23得票数 18
回答已采纳
所以我想用请求-承诺拉出一页的正文。一旦我有了页面，我想收集所有的标签，并获得这些图像的src数组。假设页面上的src属性具有相对路径和绝对路径。我想要一个页面上imgs的绝对路径数组。我知道我可以使用一些字符串操作和npm路径来构建绝对路径，但我想找到一种更好的方法。
var rp = require('request-promise'),
cheerio = require('cheerio');
var options = {
uri: 'http://www.google.com',
method: 'G
浏览 2提问于2016-06-09得票数 7
回答已采纳
4回答
我正在使用cheerio来scrape a website。我希望选择id以某个值开头的所有元素。但是，当我在jQuery中使用jQuery时，会出现malformed attribute selector语法错误。
您可以在jQuery中选择以“问题摘要-”开头的所有div元素。
$('div[id^="question-summary-"')
我的node代码如下所示
const cheerio = require('cheerio')
const $ = cheerio.load('https://stackoverflow.com
浏览 2提问于2019-04-09得票数 0
回答已采纳
2回答
我使用流行的npm包cheerio with request来检索一些表数据。 虽然我可以轻松地从单个页面检索和解析表，但我希望循环/处理多个页面。 我尝试过将async包提供的循环/各种实用程序包装在其中，但我搞不清楚这一点。在大多数情况下，节点会耗尽内存。 当前代码： const cheerio = require('cheerio');
const axios = require("axios");
var url = someUrl;
const getData = async url => {
try {
const resp
浏览 8提问于2020-03-29得票数 0
回答已采纳
1回答
我正在尝试使用axios和cheerio来获取网页，但是我无法检索所有的数据，因为函数正在返回，甚至在整个过程完成之前。我使用的是ReactJS，当我单击页面中的一个按钮时，这个函数将被调用：
analyse = async(e) => {
this.a = await axios.get('xxx');
this.s = await axios.get('yyy');
this.f = await axios.get('zzz');
let aReturn = this.fetchA(t
浏览 1提问于2019-12-14得票数 0
回答已采纳
1回答
当我解析静态html页面时，我的node.js应用程序运行良好。然而，当url是JavaScript生成的页面时，应用程序就不能工作了。如何刮除JavaScript生成的网页？
我的app.js
var express = require('express'),
fs = require('fs'),
request = require('request'),
cheerio = require('cheerio'),
app = express();
app.get('/scrape', fun
浏览 0提问于2015-05-27得票数 1
回答已采纳
我一直在玩cheerio，我注意到它似乎不支持jquery引用中指定的某些选择器，特别是“：奇数”和“：偶数”。有办法通过将jquery包导入我的程序来使用这些程序吗？或者说，这是必须实现到啦啦队代码？
这是我的密码：
//var request = require('request');
var cheerio = require('cheerio');
var jquery = require('./jquery-1.10.2');
var fs = require('fs');
$ = cheerio.load(
浏览 3提问于2013-12-19得票数 1
回答已采纳
1回答
我正试着在上刮，一个使用的网站
const rp = require('request');
const cheerio = require('cheerio');
rp('https://www.fideyo.com/list',(error,response,html) =>
{
if(!error && response.statusCode == 200)
{
const $ = cheerio.load(html);
console.log($.htm
浏览 0提问于2021-06-02得票数 0
回答已采纳
我试图用以下代码废弃一个网站：
const cheerio = require('cheerio');
const jsonframe = require('jsonframe-cheerio');
const $ = cheerio.load('https://coinmarketcap.com/all/views/all/');
jsonframe($); // initializes the plugin
//exception handling
process.on('uncaughtException', err
浏览 6提问于2017-10-23得票数 10
1回答
我不敢相信我问的是一个明显的问题，但我还是搞错了控制台日志。
控制台在站点中显示"[]“之类的爬行，但我至少检查了10次排字。总之，这是javascript代码。
我想在网站上爬行。
这是kangnam.js文件：
const axios = require('axios');
const cheerio = require('cheerio');
const log = console.log;
const getHTML = async () => {
try {
return await axios.get('
浏览 0提问于2021-09-11得票数 0
回答已采纳
1回答
getURL()函数从原始URL创建一个抓取的URL数组。然后，getSubURL()遍历该数组并抓取所有这些页面的URL。目前，这段代码可以很好地输出到控制台，但我不知道如何等待数据解析，这样才能将所有收集的数据推送到单个数组中。目前，当我尝试返回站点，然后推送到数组时，它只推送最后一个值。我相信这是一个promise.all(地图)的情况，但我不知道如何正确地编写一个而不会收到错误。理想情况下，我完成的抓取可以在另一个函数中调用。如果可以的话请看一看 const cheerio = require('cheerio');
const axios = require(
浏览 20提问于2020-12-11得票数 0
回答已采纳
1回答
我认为这可能只是基本的语法。我来自Java，对Javascript非常陌生。例如，当我在所有示例中看到$时，我的头脑就会变得空白。
解析HTTP请求(其中包含一组狗显示)的代码如下(使用请求库)：
function parseRequest1(error, response, body) {
// TODO should check for error...
var Cheerio = require('cheerio');
parser = Cheerio.load(body);
var table2 = parser('.qs_t
浏览 2提问于2013-10-26得票数 1
回答已采纳
我的文本文件包含一个由两个对象组成的小数组(为了简单起见)，如array1所示。我想加载这个文本文件，并在后续步骤中操作该数组。当它加载时，它会说它是一个字符串，因此禁止数组操作。如何在加载后加载和操作我的数组？
var request = require('request');
var cheerio = require('cheerio'),
var fs = require('fs');
array1 = fs.readFileSync('smallArray.txt', 'utf8');
console.
浏览 3提问于2016-09-03得票数 0
1回答
空输出刮擦
、、、
在过去的几天里，我一直在和Node和CheerioJS一起玩，玩得很开心。我想刮这个网页，但出于某种原因，我得到了一个空字符串回来。奇怪，因为这个精确的方法似乎适用于其他网站。
以下是我所建立的：
const rp = require('request-promise');
const cheerio = require('cheerio');
const bread = {
uri: `https://www.ah.nl/producten/product/wi112339/ah-tijger-bruin-heel`,
transform: funct
浏览 1提问于2018-10-21得票数 0
回答已采纳
我试着从聊天中抓取数据，但我不知道如何使用NodeJs中的Cheerio
我需要获得消息列表中的所有昵称(msg-昵称)：
到目前为止，我已经：
server.js
var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();
app.get('/scrape', f
浏览 0提问于2019-04-01得票数 1
回答已采纳
我正在尝试从一个网站中的表中刮取数据，该网站的值一直在变化，。因此，每一行都可以日复一日地变化，但我希望能够刮取正确的数据。目前，我正在使用Cheerio库，我对它并不熟悉，但我拥有的是：
const rp = require("request-promise");
const cheerio = require("cheerio");
let Italy = "";
async function main() {
const result = await rp.get("https://www.worldometers.in
浏览 1提问于2020-03-09得票数 0
回答已采纳
1回答
下面是我的密码..。
async function getItemDetalil(url) {
const $ = await request(url, (err, res, body) => {
return cheerio.load(body);
});
console.log($);
}
为什么我的'$‘是未定义的？我猜这会是个欢庆的对象？
浏览 1提问于2017-10-12得票数 0
当我使用Cheerio刮取时，我只接收一个变量名，而不是变量值。
代码：
const BankofAmericaScraper = async (browser) => {
const date = new Date().toLocaleDateString();
const page = await browser.newPage();
await page.goto(URL, {
waitUntil: ["load"],
timeout: 0,
});
const MortgagesPage = await page.content
浏览 3提问于2022-08-25得票数 -1
2回答
我刚开始学习网络抓取，我发现了这个教程：
它工作得很好，但是我试图从相同的网页中获取不同的元素：
在教程的类组中，它会将所选类中的所有元素都带出来，但是对于其他类，它不起作用：
可以看到，类ranking-item-wrapper的所有50个元素都会被返回，但是如果我使用类lista-jogos__jogo选择元素，则不会返回任何内容：
我不明白为什么会有这个错误，因为我做的事情和教程中做的一样。
下面是代码的一个简短版本：
const axios = require('axios');
const cheerio = require('cheer
浏览 3提问于2021-11-27得票数 1
回答已采纳
我是node.js新手，并且编写了我的第一个脚本来抓取一些数据。
有人知道为什么在使用这段代码时，我会看到里面有问号的奇怪字符吗？
var express = require('express');
var fs = require('fs');
var request = require('request');
var cheerio = require('cheerio');
var app = express();
var url = 'http://www.ebay.co.uk/csc/all-you-ever-
浏览 5提问于2014-05-22得票数 3
回答已采纳
我正试着刮一个网页来尝试使用cheerio的一些技能，但我做不到。我正在使用axios来生成http 请求。
scrape.js
const cheerio = require('cheerio');
const axios = require('axios');
async function iniciar() {
axios.get('https://www.idealo.es/precios/4102124/the-north-face-men-s-mcmurdo-parka-tnf-black.html').then( res
浏览 2提问于2021-01-12得票数 1
回答已采纳
我正在寻找一个库，它的API和用法类似于jQuery或Cheerio。
我的用例是：解析包含javascript/css文件引用的任何脚本或链接标记的文件。
浏览 8提问于2013-03-21得票数 6
回答已采纳
1回答
我试图刮一个网站，其中包含一个大文件夹的图像，是位于url 使用nodejs与欢呼和请求。从页面中提取一个图像如下所示
var request = require("request"),
cheerio = require("cheerio"),
urls = [];
request('', function(err, resp, body){
if (!err && resp.statusCode == 200 ) {
var $ = cheerio.load(body);
浏览 4提问于2015-02-09得票数 1
我试图使用cheerio (见下面的代码片段)从Chrome扩展页面()中提取相应的文本，但没有效果。正如您所看到的，我尝试了3种不同的轻松选择器，但它们都产生了一个空字符串。
var request = require('request');
var cheerio = require('cheerio');
request('https://chrome.google.com/webstore/detail/earth-view-from-google-ea/bhloflhklmhfpedakmangadcdofhnnoh',
f
浏览 3提问于2022-09-29得票数 1
回答已采纳
1回答
我正试图用Unirest和Cheerio搜索谷歌的搜索结果。所以在这里，我试图得到这个刮过的标题数组。但是，当我在外部安慰它时，它什么也不返回，而当我在Unirest块中安慰它时，它返回给我数据。
这是我的代码：
const unirest = require('unirest')
const cheerio = require('cheerio')
var titles = []
unirest
.get('https://www.google.com/search?q=oxylabs')
.headers({'Accept'
浏览 14提问于2022-01-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议活动推荐
腾讯云开发者
