如何使用NodeJS和木偶操纵者从udemy中抓取图像
使用NodeJS和木偶操纵者（Puppeteer）从Udemy中抓取图像的过程如下：
- 首先，确保已经安装了NodeJS和npm（Node包管理器）。
- 在命令行中使用以下命令创建一个新的NodeJS项目：
- 在命令行中使用以下命令创建一个新的NodeJS项目：
- 安装所需的依赖包，包括NodeJS的HTTP模块和木偶操纵者：
- 安装所需的依赖包，包括NodeJS的HTTP模块和木偶操纵者：
- 创建一个新的JavaScript文件，例如
scraper.js，并使用以下代码编写抓取图像的逻辑： - 创建一个新的JavaScript文件，例如
scraper.js，并使用以下代码编写抓取图像的逻辑： - 在命令行中运行脚本：
- 在命令行中运行脚本：
- 脚本将使用axios获取Udemy首页的HTML内容，并使用木偶操纵者打开一个新的浏览器实例。然后，它将提取页面中的所有图像URL，并将其打印到控制台中。
请注意，这只是一个简单的示例，用于演示如何使用NodeJS和木偶操纵者从Udemy中抓取图像。实际应用中可能需要更复杂的逻辑和错误处理。另外，抓取网站内容时请遵守相关法律和网站的使用条款。
相关·内容
1回答
这是我的代码抓取课程标题可以工作，但我在图像方面有问题 const puppeteer = require('puppeteer-extra'); const page = await browser.newPage(); await fs.writeFil
浏览 32提问于2021-11-16得票数 0
1回答
我有一个使用React开发的购物车应用程序，我一直在开发一个使用木偶操纵者从杂货店抓取数据的功能。我遇到的问题是，我不确定如何从我的puppeter.js文件中共享数据，实现数据，并将其显示在我的react应用程序中。 任何帮助都是非常感谢的。
浏览 18提问于2021-01-17得票数 0
回答已采纳
当我检查页面时，当页面完全加载时，图像src似乎被javascript修改了。
有一个名为cheerio的库。它很简单，但它没有公开一个方法，在页面完全加载后进行一些检查，它只返回html。或者有没有什么库可以用来获取真实的图像路径，因为它已经被javascript修改过了？谢谢你的帮助。
浏览 13提问于2018-09-04得票数 1
回答已采纳
我正在抓取一个shoutbox，它被限制为10条消息；它是异步的，当第11条消息出现时，第一条消息就消失了。问题是如何跳过日志中的重复项，项不应该是唯一的，只是不要将相同的项转储两次。也许有一种更好的方法来循环这个过程。
浏览 1提问于2018-09-12得票数 0
所以我在尝试抓取web-table时遇到了这个问题。我能够通过使用'firstChild‘和'lastElementChild’作为单个子节点来提取表节点。我这里的问题是，我想提取map或数组中的所有子节点(行/单元)，以便在循环中迭代和提取数据。注意:我正在使用木偶操纵者，因此使用ASYNC函数 下面是一个代码片段： const [table] = await page.
浏览 15提问于2021-07-04得票数 1
回答已采纳
1回答
我试图将node.js、npm和Grunt.js安装在一个Ubuntu可靠的64位Vagrant环境中，并遇到了一些问题。/bin/apt-get update', }
package { 'nodejs=> '/usr/bin/curl -L https://npmjs.org&#
浏览 0提问于2014-09-27得票数 1
1回答
我正在使用Intellij Idea，并且正在尝试运行一个使用Puppeteer模块的Node脚本。当我在Intellij Idea之外运行脚本时，它工作得很好。2.1.2@core/bundler/gems/docket-plus-43e0140393ef/lib/data/js/county/practice.js:6:19)
基本上，该脚本存储在文件系统中其他位置的ruby gem中。我从另一个项目运行脚本。但我
浏览 14提问于2018-07-31得票数 2
1回答
我有一个应用程序，需要从包含JavaScript的网站中抓取一些数据。与NodeJS，这是很容易与木偶或剧作家。使用Reacti原住民，我可以使用fetch或axios来请求页面的html，但是Javascript不会被执行。
我已经了解到了一个npm包，它可以允许我使用NodeJS和React或iOS ()。但是，既然木偶师或剧作家通常会自动化桌面版的Chrome，那么在移动设备上有什么方法可以实现类似的功能呢？
浏览 4提问于2020-11-26得票数 2
我是木偶操纵者的新手，还在学习如何抓取网页。网页的结构是这样的：
我要做的是抓取<h2> Status </h2>和<h2>Naam</h2>之间的所有<p>标记。使用我当前的代码，我可以抓取这个页面上的所有<p>标记。只是现在我尝试抓取<h2> Status </h2>之后直到<h2>Naa
浏览 29提问于2020-05-25得票数 0
回答已采纳
我正在使用nodejs/puppeeteer和一个小api的路由。我只是想看看木偶操纵者脚本什么时候完成。完成后，我想在我的HTML页面中显示一些东西。不确定我需要在路由上修改什么。
浏览 26提问于2021-09-19得票数 1
回答已采纳
在本教程中，这是docker文件RUN apt-get install -y curl
RUN curl -sL https
浏览 0提问于2020-08-23得票数 0
3回答
我正在尝试制作一个刮刀，它使用木偶师和nodejs从Facebook的公共帖子链接中抓取帖子ID和海报ID。fbid=1168301430177531&id=100009930549147&set=gm.1386874671702414&refid=13&__tn__=%2B%3E'我如何过滤掉不必要的部分(我只想要模糊值和id值)
提前感谢
浏览 0提问于2020-06-14得票数 1
回答已采纳
3回答
使用此reCaptcha演示页面：https://recaptcha-demo.appspot.com/recaptcha-v2-invisible.php 使用puppeteer，我的目标是等待并确定挑战(必须从网格中挑选特定图像)何时在页面上可见。我不是在问如何绕过或解决reCaptcha，只是想知道它什么时候是活动的，什么时候可以解决。即使reCaptcha在浏览器中清晰可见，并且#rc-imageselect元素在元素树中<
浏览 74提问于2020-06-16得票数 3
回答已采纳
我使用以下命令成功地将图像作为二进制字符串从木偶操纵者page.evaluate()函数传递回node.js： async function getBinaryString(url) {
returnfs.writeFileSync(“image.png”, new Buffer.from(binaryString, "binary"), function (err) { }); 但现在我希望将此PNG图像转换为base64，而不是先将其保存到文件中<
浏览 9提问于2020-04-23得票数 0
1回答
npm运行生成时出错
、、、、
@1.0.0~prebuild: udemy-nodejs-angular2@1.0.0 6信息生命周期udemy-nodejs-angular2@1.0.0~build: udemy-nodejs-angular2@1.0.0 7详细生命周期udemy-nodejs-angular2@1.0.0~build: unsafe-perm in true true 8详细生命周期udemy-nodejs-angular2
浏览 36提问于2018-06-04得票数 0
3回答
我在nodejs中有一个抓取算法，带有puppeteer，它同时抓取5个页面，当它完成一个页面时，它从队列中拉出下一个url，并在同一页面中打开它。CPU始终为100%。如何让木偶戏演员使用更少的cpu？ puppeteer.launch({
args: [&#
浏览 0提问于2018-02-27得票数 22
我们有NodeJS应用程序与木偶+快递。var express = require('express');var app = expressimageUrl, {waitUntil: 'domcontent
浏览 10提问于2019-11-13得票数 0
目前，除了课程的开始时间和持续时间之外，我几乎有了所有需要的信息，我不知道如何获得这些数据： ? 定向链接：https://loftodance.pl/grafik 我使用node.js +木偶操纵者。有什么想法吗？
浏览 10提问于2020-09-21得票数 0
我试图在博客列表页面中显示博客文章中的所有图片。
目前，它只在后台>博客文章配置>图像配置中显示标记为预览的图像。但是，如果您选择多个，我也需要显示其他的。我一直试图从博客文件夹、detail.tpl，甚至是Shopware > Controllers >前端<code>E 213</code>下的Blog.php文件中修改文件，但都没有成功。在索引方法下的Blog.php文件中，我看到了这段代
浏览 2提问于2018-10-08得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
