正在使用cheerio和nodejs从allegro网站获取数据，以在API中创建端点，该API返回csv数据这些数据将在稍后作为数据科学项目的一部分进行研究：为了获得汽车信息，我设法从第一页刮掉链接，每个链接将您发送到汽车(汽车项目)，以查看汽车的完整信息，我需要从每个链接刮更多的</e
浏览 18提问于2020-06-09得票数 1
3回答
使用NodeJS抓取
、、、
我需要从循环中的url中提取链接，所以基本上我需要再次执行函数，但我不知道如何使用nodejs实现这一点。var request = require('request');var searchTerm = 'baloncesto'; $(links).each(function(i,link){
console.log(url
浏览 19提问于2019-02-07得票数 1
1回答
我有一个端点，我必须使用它来获取一些细节，但是响应是以html格式读取，用来格式化html和有效的JSON对象，如下所示<script type="text/javascript">_page.startPagepage.endPage()</script></body>
需要找出细节32
浏览 2提问于2022-02-03得票数 0
2回答
我正在向一个网页发送一个Axios请求，要求从其中抓取一个小字符串，但返回的响应是一个很大的html，而我只需要它的一小部分，有没有办法缩短响应，这样我就可以保存数据并使请求更快？
浏览 20提问于2021-01-27得票数 0
回答已采纳
假设我有一个动态解析的Markdown文件，并返回以下或类似的输出：在本例中，我想返回h1和第一个p标记。你认为这有可能以可靠的方式实现吗？我只想获得具有前两个元素的</em
浏览 0提问于2018-10-26得票数 0
现在，我们的应用程序将nodejs.org的源代码写入控制台。我们希望它改写nodejs.org的所有超链接。也许我们只需要一行代码就可以从body获取链接。
浏览 0提问于2013-03-12得票数 21
回答已采纳
1回答
我正在尝试使用Javascript和Cheerio创建一个网络爬行器，当我试图从抓取的页面中的url中抓取数据时，我遇到了一些困难。例如，我抓取第一个页面的一些细节(包括链接页面的URL )，然后当我尝试使用回调函数抓取链接页面时，我无法将返回值赋给对象。这两个抓取器单独工作，但是我在让它们异步运行时遇到了问题
浏览 0提问于2020-02-19得票数 0
2回答
我使用axios从getnada.com messages返回这个对象。下面的对象是axios返回的内容。在这个对象中有一些html代码(尽我最大的努力清理html)。是否有任何方式在url上启动带有id="ActivateButton“的单击事件？我使用的是node.js和selenium-webdriver。
浏览 0提问于2018-07-25得票数 3
回答已采纳
我正在创建一个用javascript编写的web抓取程序，使用request和cheerio。我试图提取的网页在html中包含javascript。这是我感兴趣的javascript，但是找不到访问它的方法。有没有办法使用cheerio来提取javascript？var
浏览 6提问于2015-02-26得票数 1
我正在使用nodejs和cheerio从网站上抓取数据，然后它会从这些数据中创建一个对象。然后，它需要获取该对象并在函数中使用它。问题是，我的对象正在创建中，但在cheerio可以正确解析数据并将其放入对象之前，下一个函数已经在运行。下面是我的代码： request(link, function(err, resp,
浏览 0提问于2013-06-07得票数 0
回答已采纳
1回答
使用nodeJs进行XML抓取
、、、、
我有一个非常大的xml文件，它是我从tally导出所有数据后得到的，我试图使用网络抓取来从我的代码中提取元素，但我在格式或类似的东西上遇到了问题。使用fs.readFileSync()读取它可以很好地工作，并且console.log会显示完整的xml文件，但是当我使用fs.writeFileSync编写文件时，它会显示如下所示： ? 而我的web抓取</
浏览 11提问于2020-06-30得票数 0
我刚刚编写了我的第一个脚本，但是我发现它运行得非常慢。我对偷东西和幻影都很陌生，所以我不知道哪一个是罪魁祸首。pjs.addSuite({ });
return resu
浏览 3提问于2013-06-28得票数 2
回答已采纳
1回答
我正在使用ionic 4，我正在尝试找出一种方法来解析来自网站的特定html页面。我想将特定表格中的数据提取到页面中，并使用这些数据填充一个数组。我使用以下代码访问html页面。我发现了很多从json中提取数据的例子，但在html页面上并不多见。我使用ionic-native/http来访问该页面。这是我的</
浏览 13提问于2019-02-21得票数 0
1回答
我需要添加网页抓取功能到一个单页面应用程序。使用它，我可以简单地输入一篇文章的URL，该服务将从该页面检索我需要的所有数据。我通过谷歌找到了很多抓取解决方案，但他们大多提供定期从少数网站
浏览 1提问于2015-08-16得票数 1
1回答
无法在函数中应用抓取下一页的逻辑
、、、、
我已经创建了一个脚本，使用axios和cheerio从yellowpages获取不同的商店名称及其相关链接，然后使用这些链接从其内部页面抓取电话和电子邮件。脚本运行得很好。我现在想做的就是使用next page link从下一页抓取内容。我只是不明白如何在getLinks()函数中应用解析和使用下一页的逻辑。目前，这是我正在尝试
浏览 13提问于2021-09-14得票数 3
1回答
运行脚本时，结果总是“未定义”。
、、、、
我一直在尝试使用axios和cheerio迭代地从网页中抓取下一个页面链接。当我运行脚本时，结果总是得到undefined。在没有更多的链接之前，我如何获得下一页链接？这是我目前的尝试：const cheerio = require("cheerio");
const bas
浏览 3提问于2021-09-26得票数 1
回答已采纳
页面上有一个全局变量，它包含一个对象，我想为它设置一个抓取器。使用Node / Express /潜在的Cheerio最好的方法是什么？我理解Cheerio在遍历DOM时的好处，但是我知道我想要抓取的全局变量的名称，只需要按照设定的计划提取它的信息
浏览 7提问于2017-01-09得票数 0
回答已采纳
1回答
问题陈述： 我有这个网页中的每个候选人都有一个链接，其中包含一些信息，我想抓取。 因此，对于所有候选人，我必须单击链接并手动获取详细信息，这是一项繁琐的任务。 我想自动化这请帮助我。我的解决方案是： 我认为要自动化这项任务，我应该编写一个脚本，它会单击每个链接并抓取数据。 但我想知道如何抓取一个需要登录的网页。 您看到的网页只能通过登录页面访问。如果除了这种方法之
浏览 18提问于2019-03-02得票数 0
回答已采纳
1回答
我目前正在使用cheerio和nightmare进行一些抓取工作。我之所以同时使用这两个工具，而不仅仅是cheerio，是因为我必须操纵网站才能找到我想要抓取的部分，而且我发现噩梦非常擅长做这些脚本。所以，现在我正在使用nightmare获取，直到我需要的信息显示出来。在那之后，在evaluate()上，我试图以某种方式返回当前的html，然后将其传递给cheerio进行抓取。问题
浏览 5提问于2016-09-26得票数 7
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
