1回答
NodeJs食谱爬虫
、、、、
这是我在nodeJs中用拜拜制作的爬虫的尝试，我想到了在我想做的未来项目中使用它的想法。对于我想要解析数据的每个网站，我需要创建一个新的解析器脚本，以便尝试保存一些代码复制，并将结构添加到我创建的RecipeParser类扩展的项目中。
浏览 0提问于2019-03-01得票数 6
3回答
阻止NodeJS程序退出
、、、、
我正在创建基于NodeJS的爬虫，它与node-cron包一起工作，我需要防止入口脚本退出，因为应用程序应该永远作为cron运行，并将在某些时间与日志执行爬虫。在web应用程序中，服务器将监听并防止终止，但在无服务器应用程序中，它将在所有代码执行完后退出程序，而不会等待crons。
我应该为此编写while(true)循环吗？
浏览 9提问于2017-05-23得票数 11
回答已采纳
在nodejs/express中，如何允许爬虫使用站点地图？
下面的代码是我的应用程序流的一部分，我应该把我的站点地图文件夹/文件放在哪里？以及如何允许爬虫？
浏览 2提问于2015-09-06得票数 1
回答已采纳
1回答
我正在用Node查找域上的所有页面。我在Stackoverflow上搜索，但我只找到了这个用于Ruby：的线程--我有同样的问题，但是对于Node。我也在谷歌上搜索过这个问题，但我发现的都是刮刀器，它们没有找到可以自己抓取的链接。我也在寻找类似“站点地图生成器”、“网页机器人”、“自动刮刀”、“用Node获取域上的所有页面”之类的东西，但没有带来任何结果。
我有一个刮板，需要它将要处理的一系列链接，例如，我有一个页面www.example.com/products/，其中我想找到所有现有的子页面，例如www.example.com/products/product1.html，www.exam
浏览 0提问于2014-07-08得票数 3
该查询成功运行，并在给定的S桶中生成结果
要在Lambda中创建AWS爬虫，下面是我在Lambda (NodeJS)中的代码： };};
Problem creat
浏览 2提问于2021-08-14得票数 1
2回答
基本的想法是，你输入一个url，它就会以输入作为参数启动一个爬虫进程。目前，它似乎可以很好地处理通过websocket传输的输出。我很好奇什么是最好的方式来处理多个爬虫同时运行，所以如果两个人在同一时间输入一个网址。我认为最好的方法是使用队列系统，理想情况下，我只希望同时运行数量可控的爬虫。
浏览 1提问于2012-12-16得票数 0
1回答
我有一个爬虫，它每隔60秒检查一次用Nodejs编写的URL列表。它不使用数据库，在内存中存储一些项目，并且应该全天候运行。
托管这个爬虫的合适的解决方案是什么？
浏览 1提问于2020-09-22得票数 0
我已经开发了Nodejs express服务器，我关心的是爬虫流量....i意味着如果有人开始向我的服务器发送请求使其宕机，那么如何检测或避免这种情况。
提前谢谢。
浏览 0提问于2016-04-10得票数 0
1回答
测试所有内部链接
、、
我运行一个NodeJS服务器。我有时会删除页面，而忘记删除引用。我想测试所有内部链接是否正常工作。我想象一个爬虫和一个npm测试包，可以建立一个从主页链接的所有内部页面的列表，并确认它们返回一个200状态代码。 实现这一目标的最佳框架是什么？
浏览 13提问于2021-07-08得票数 0
1回答
我正在用nodejs开发一个网络爬虫。我在网站爬行体中创建了一个独特的urls列表。但也有一些扩展像jpg，mp3，mpeg .我想避免爬那些有扩展的人。有什么简单的方法吗？
浏览 3提问于2015-10-14得票数 0
回答已采纳
我正在构建一个小应用程序，当我共享页面时，抓取HTML的爬虫不会评估JavaScript(这很有意义)。因此，我想做的是使用某种服务器端的用户代理检测，在社交媒体爬虫到达时进行检测，然后不再向它显示普通的AngularJS模板文件，而是将其重定向到一个服务器生成的页面，该页面将包含所需的元标记，所有这些都填充了正确的信息我知道有prerender.io可以做到这一点，但是是否有一种简单的方法可以使用NodeJS/ExpressJS来实现呢？
浏览 0提问于2017-10-05得票数 0
回答已采纳
这是我的头盔代码。shareImg} /></Helmet>
这是Twitter和Facebook分享按钮的代码片段
浏览 52提问于2019-08-03得票数 2
回答已采纳
我有一个网络爬虫正在消耗大量的记忆。我尝试过node --trace-gc，就像"NodeJS 0.3.1应用程序泄漏内存“一样，问题也是一样的。我将异步库用于多个gets到服务器。
浏览 3提问于2011-08-23得票数 2
回答已采纳
1回答
通过内置模块进行引用欺骗
、、、
我一直在想，是否有办法只使用内置表达式来欺骗Referer，尝试更改不安全的标头时，XMLHttpRequest会抛出错误。我不喜欢使用外部的原因是，它们通常有一些我永远不会使用的功能，因此很可能很重。
浏览 5提问于2020-02-25得票数 0
我认为它类似于网络爬虫，除了它不必处理html页面，而是JSON/XML。
进行这项工作的最佳方式是什么？这可以使用PHP或NodeJS来完成吗？
浏览 4提问于2012-07-19得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
