使用cheerio遍历源页面并执行逻辑

文章/答案/技术大牛

发布

1回答

javascript、html、cheerio

我希望能够使用cheerio在源页面中的所有超文本标记语言之间执行一些逻辑。我不确定如何做到这一点，因为我似乎找不到一个可以在中做到这一点的方法。我认为最近的方法是.each() 。我想对HTML的每一块执行逻辑。这就是我到目前为止所知道的：这是我想要应用于每个标签及其内容的函数： summarizeContent(content使用</em

浏览 13提问于2016-08-27得票数 4

1回答

欢迎网页抓取Twitter加载不同的数据

javascript、html、node.js、web-scraping、twitter

我刚开始使用Web抓取，我使用Axios获取URL，然后使用Cheerio访问数据。我想通过获取我帐户的关注者数量来在网上搜索twitter，我检查了持有关注者数量的元素，然后尝试执行它，但是它没有返回任何内容。所以我尝试执行页面中的每个span标记，它返回字符串“出了问题，但不要担心--让我们再试一次。” 当我检查页面时，我可以看到标记元素，但是当我点击“查看页面源”时，它会显示出完全不同的东西。位于此页源

浏览 6提问于2022-01-21得票数 -1

2回答

如何修复Node/Cheerio中的“$(.).click不是函数”

javascript、node.js、web-scraping、request、cheerio

我在一个使用'request‘和'cheerio’的.click()文件中使用了.bind('click, ...)和.js。我还尝试在一个不同的page.click()文件中使用page.evaluate()和page.evaluate()，这个文件使用的是“铬发射器”、“铬-远程接口”和“木偶师”。下面是我为“请求”和“cheerio”文件编写的代码：const

浏览 1提问于2019-06-19得票数 2

回答已采纳

1回答

NodeJS异步回调不成功？

javascript、node.js、asynchronous

我试图使用async.map特性实现一个刮刀器，对数组进行迭代，执行一些逻辑，然后将它们映射到不同的值。toArray(), GetLink, function(err, results) { console.log(results);它使用cheerio模块循环遍历所有表行以获取它们的链接，然后完成对它们的一些逻辑(从链接的页面获取信息)。nameElement = $(tablero

浏览 2提问于2015-02-01得票数 0

回答已采纳

1回答

用木偶师循环通过桌子行

node.js、web-scraping、google-chrome-headless、puppeteer

document.querySelector(#content-tabs-0 > div > table > tbody > tr:nth-child(3) > td.mpt-1-td-desc > a").href)for(let i=1;i<=10;i++){ let link = await page.evaluate(() => document.querySelector("#content-tabs> div > table >

浏览 1提问于2017-10-27得票数 1

回答已采纳

1回答

NodeJS -请求一个包含稍后加载信息的页面

javascript、node.js、ajax、request、web-crawler

我正在用nodeJS制作一个网络爬虫，它可以工作，它调用页面，我使用cheerio转换成JQuery，并调用标记。/* Requires */var cheerio = require('cheerio'); //Page

浏览 1提问于2017-08-14得票数 0

回答已采纳

1回答

如何评估web报废时使用cheerio的javascript变量

javascript

当我使用Cheerio刮取时，我只接收一个变量名，而不是变量值。waitUntil: ["load"], }); const $ = cheerio.load

浏览 3提问于2022-08-25得票数 -1

2回答

未捕获TypeError：$(...).text不是函数

javascript、html、node.js、cheerio

我有一个非常简单的，并且我尝试使用cheerio执行一个简单的CSS选择器。const $ = cheerio.load(html);结果：我的目标是获得第一个元素并打印出它的内部文本我还尝试使用each()遍历</e

浏览 1提问于2017-05-15得票数 0

2回答

node.js检查dom，像标准javascript一样

javascript、node.js、v8

如何从HTML源创建document对象并在node.js中使用像getElementById这样的document.*函数呢？

浏览 2提问于2010-08-18得票数 9

回答已采纳

1回答

在Node.js中似乎无法抓取div类标记

node.js、screen-scraping、cheerio

然而，我不能用cheerio刮掉它。 var number = $('//tried everything

浏览 0提问于2015-10-22得票数 2

1回答

空输出刮擦

jquery、node.js、web-scraping、cheerio

以下是我所建立的：const cheerio = require('cheerio'); transform: function(body) { return cheerio.loadconsole.log($('

浏览 1提问于2018-10-21得票数 0

回答已采纳

0回答

如何使用Node / Cheerio* (或其他工具)从站点中抓取全局变量？*

node.js、express、web-scraping、cheerio

页面上有一个全局变量，它包含一个对象，我想为它设置一个抓取器。使用Node / Express /潜在的Cheerio最好的方法是什么？我理解Cheerio在遍历DOM时的好处，但是我知道我想要抓取的全局变量的名称，只需要按照设定的计划提取它的信息

浏览 7提问于2017-01-09得票数 0

回答已采纳

1回答

为什么.text()和.html()不能使用cheerio和节点获取？

javascript、node.js、cheerio、node-fetch

我是Node的新手，使用节点-获取和问候包。我试图从不同的网站抓取数据，所以我通过传递许多不同的URL和选择器来进行测试。const cheerio= require('cheerio'); .then((res)=>{ if

浏览 4提问于2020-11-17得票数 3

3回答

在node.js中同步获取url？

node.js

是否有一种方法可以同步地从指定的url获取页面源？问题是，我有一个很长的urls列表(比如1000个urls)来获取和解析，在回调中在循环中这样做是非常痛苦的，因为它同时启动所有fetchUrl函数，并根据回调中的代码进行解析。我很希望能够：。。重复所有的名单。目前，我使用fetch包获取url源代码，并使用

浏览 1提问于2014-04-02得票数 0

回答已采纳

1回答

有人知道如何使用cheerio* (node.js)获取这个特定值吗？*

javascript、node.js、cheerio

<input type="hidden" name="form_build_id" id="form-ID-numbers" value="form-value-numbers" />我尝试使用下面的代码，但它总是给我“未定义”的提示： $('input[name="form_build_id"]').val();

浏览 0提问于2018-07-21得票数 1

1回答

Node.js API中的异步函数不按预期工作。

node.js、asynchronous、async-await

使用该函数的相关函数和路由处理程序如下： const $ = cheerio.load(html);} }) return articles; /&

浏览 9提问于2022-04-25得票数 0

回答已采纳

1回答

使用cheerio动态抓取呈现的内容

javascript、jquery、node.js、web-scraping、cheerio

我正在使用cheerio搜索linkedin的工作部分，例如，下面的链接：如果我使用chrome浏览该链接，它会将作业按页面拆分，但当我在Microsoft中浏览该链接时(我希望您也尝试查看)，只要我向下滚动到页面底部我的假设是，cheerio在幕后使用Microsoft，但我不确定，我也不知道如何修改它，甚至不知道这是否是一个好主意。当我尝试抓取所有的工作时，我想问一下我在这种情况下的选择是什么，还有那些是动态呈现的，或者是在另一个页面中的。.&

浏览 12提问于2022-04-03得票数 0

1回答

如何使用node.js从页面源- {{= flyingStatus(it.m_status) }中的标记获取信息？

javascript、jquery、node.js、cloudflare、cheerio

如果我查看页面源，就会看到“不寻常”属性值：通常对我来说这是：加载页面后，如果使用“检查”按钮，我会看到：现在，如果我使用cheerio (jquery)，但是没有看到任何东西，那么

浏览 1提问于2018-01-21得票数 0

回答已采纳

1回答

Node.js你能在另一个页面上触发一个点击事件吗？

javascript、html、node.js

如果您单击create "Create Private“-button，站点刷新并显示要共享的链接(我想要获得)，我希望从该网站获得该链接。如果你在登陆页面，你必须触发一个点击事件在“创建私人房间”按钮。我甚至可以这样做，如果是的话，怎么做？

浏览 0提问于2018-08-08得票数 0

回答已采纳

2回答

欢迎您如何从选择中删除DOM元素

node.js、puppeteer、cheerio

我正在尝试编写一个bot来将一堆HTML页面转换为减价，以便将它们作为Jekyll文档导入。为此，我使用puppeteer获取HTML，并使用cheerio操作它。源HTML相当复杂，并且受到Google广告标签、外部脚本等的污染。', '.widget', '.related', 'img', 'p:empty', 'div:empty', 'section:empt

浏览 4提问于2022-05-27得票数 0

回答已采纳

点击加载更多