腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
谷歌如何对Angular4网站进行索引?
、
、
、
谷歌如何对所有页面进行索引?如您所见,该站点使用的是Angular4 (查看源)。
浏览 0
提问于2017-07-03
得票数 3
回答已采纳
1
回答
NodeJs
食谱
爬虫
、
、
、
、
这是我在
nodeJs
中用拜拜制作的
爬虫
的尝试,我想到了在我想做的未来项目中使用它的想法。对于我想要解析数据的每个网站,我需要创建一个新的解析器脚本,以便尝试保存一些
代码
复制,并将结构添加到我创建的RecipeParser类扩展的项目中。
浏览 0
提问于2019-03-01
得票数 6
3
回答
阻止
NodeJS
程序退出
、
、
、
、
我正在创建基于
NodeJS
的
爬虫
,它与node-cron包一起工作,我需要防止入口脚本退出,因为应用程序应该永远作为cron运行,并将在某些时间与日志执行
爬虫
。在web应用程序中,服务器将监听并防止终止,但在无服务器应用程序中,它将在所有
代码
执行完后退出程序,而不会等待crons。 我应该为此编写while(true)循环吗?
浏览 9
提问于2017-05-23
得票数 11
回答已采纳
1
回答
在
nodejs
/express中如何允许
爬虫
使用站点地图
、
、
在
nodejs
/express中,如何允许
爬虫
使用站点地图? 下面的
代码
是我的应用程序流的一部分,我应该把我的站点地图文件夹/文件放在哪里?以及如何允许
爬虫
?
浏览 2
提问于2015-09-06
得票数 1
回答已采纳
1
回答
用
NodeJS
查找域上的所有页面
、
、
我正在用Node查找域上的所有页面。我在Stackoverflow上搜索,但我只找到了这个用于Ruby:的线程--我有同样的问题,但是对于Node。我也在谷歌上搜索过这个问题,但我发现的都是刮刀器,它们没有找到可以自己抓取的链接。我也在寻找类似“站点地图生成器”、“网页机器人”、“自动刮刀”、“用Node获取域上的所有页面”之类的东西,但没有带来任何结果。 我有一个刮板,需要它将要处理的一系列链接,例如,我有一个页面www.example.com/products/,其中我想找到所有现有的子页面,例如www.example.com/products/product1.html,www.exam
浏览 0
提问于2014-07-08
得票数 3
1
回答
如何使用express for Google重定向不同的语言
、
、
、
、
我必须如何更改
代码
?
浏览 12
提问于2019-06-13
得票数 0
1
回答
无法在Lambda中创建AWS胶水爬行器,Lambda由Step函数触发
、
、
、
、
该查询成功运行,并在给定的S桶中生成结果 要在Lambda中创建AWS
爬虫
,下面是我在Lambda (
NodeJS
)中的
代码
: };}; Problem creat
浏览 2
提问于2021-08-14
得票数 1
2
回答
使用websocket在烧瓶中排队
、
、
、
、
基本的想法是,你输入一个url,它就会以输入作为参数启动一个
爬虫
进程。目前,它似乎可以很好地处理通过websocket传输的输出。我很好奇什么是最好的方式来处理多个
爬虫
同时运行,所以如果两个人在同一时间输入一个网址。我认为最好的方法是使用队列系统,理想情况下,我只希望同时运行数量可控的
爬虫
。
浏览 1
提问于2012-12-16
得票数 0
1
回答
托管一个节点网络
爬虫
?
、
我有一个
爬虫
,它每隔60秒检查一次用
Nodejs
编写的URL列表。它不使用数据库,在内存中存储一些项目,并且应该全天候运行。 托管这个
爬虫
的合适的解决方案是什么?
浏览 1
提问于2020-09-22
得票数 0
1
回答
如何检测
Nodejs
服务器上的crawler流量
、
、
我已经开发了
Nodejs
express服务器,我关心的是
爬虫
流量....i意味着如果有人开始向我的服务器发送请求使其宕机,那么如何检测或避免这种情况。 提前谢谢。
浏览 0
提问于2016-04-10
得票数 0
1
回答
测试所有内部链接
、
、
我运行一个
NodeJS
服务器。我有时会删除页面,而忘记删除引用。我想测试所有内部链接是否正常工作。我想象一个
爬虫
和一个npm测试包,可以建立一个从主页链接的所有内部页面的列表,并确认它们返回一个200状态
代码
。 实现这一目标的最佳框架是什么?
浏览 13
提问于2021-07-08
得票数 0
4
回答
在标签结束和开始之间提取文本
、
、
我想找出电话号码:这段
代码
将是网络
爬虫
的一部分。
浏览 8
提问于2015-08-19
得票数 2
回答已采纳
1
回答
用节点
爬虫
或简单
爬虫
进行
NodeJS
网络爬行
、
我是网络
爬虫
的新手,我需要一些关于这两个节点JS
爬虫
的提示。提前谢谢你。
浏览 0
提问于2018-05-07
得票数 2
回答已采纳
1
回答
网络
爬虫
文件扩展名处理
、
、
我正在用
nodejs
开发一个网络
爬虫
。我在网站爬行体中创建了一个独特的urls列表。但也有一些扩展像jpg,mp3,mpeg .我想避免爬那些有扩展的人。有什么简单的方法吗?
浏览 3
提问于2015-10-14
得票数 0
回答已采纳
1
回答
Cheerio提取一个没有结束标签的链接
、
、
我正在用cheerio和
nodejs
做一个
爬虫
,我试着提取一个没有结束标签的。
浏览 1
提问于2015-08-19
得票数 0
1
回答
Nodejs
如何将facebook/twitter
爬虫
机器人重定向到另一个服务器生成的页面?
、
、
我正在构建一个小应用程序,当我共享页面时,抓取HTML的
爬虫
不会评估JavaScript(这很有意义)。因此,我想做的是使用某种服务器端的用户代理检测,在社交媒体
爬虫
到达时进行检测,然后不再向它显示普通的AngularJS模板文件,而是将其重定向到一个服务器生成的页面,该页面将包含所需的元标记,所有这些都填充了正确的信息我知道有prerender.io可以做到这一点,但是是否有一种简单的方法可以使用
NodeJS
/ExpressJS来实现呢?
浏览 0
提问于2017-10-05
得票数 0
回答已采纳
1
回答
如何使用``react share`包在Twitter和Facebook上分享图片和描述?
、
、
、
这是我的头盔
代码
。shareImg} /></Helmet> 这是Twitter和Facebook分享按钮的
代码
片段
浏览 52
提问于2019-08-03
得票数 2
回答已采纳
1
回答
NodeJS
:调试内存使用
我有一个网络
爬虫
正在消耗大量的记忆。我尝试过node --trace-gc,就像"
NodeJS
0.3.1应用程序泄漏内存“一样,问题也是一样的。我将异步库用于多个gets到服务器。
浏览 3
提问于2011-08-23
得票数 2
回答已采纳
1
回答
通过内置模块进行引用欺骗
、
、
、
我一直在想,是否有办法只使用内置表达式来欺骗Referer,尝试更改不安全的标头时,XMLHttpRequest会抛出错误。我不喜欢使用外部的原因是,它们通常有一些我永远不会使用的功能,因此很可能很重。
浏览 5
提问于2020-02-25
得票数 0
1
回答
异步调用web服务并将数据保存到mysql数据库的最佳方式/程序/语言?
、
、
、
我认为它类似于网络
爬虫
,除了它不必处理html页面,而是JSON/XML。 进行这项工作的最佳方式是什么?这可以使用PHP或
NodeJS
来完成吗?
浏览 4
提问于2012-07-19
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
学习分享Java爬虫伪代码
nodejs集成redis
这个Python网络爬虫代码怎么解决乱码?
反爬虫的极致手段,几行代码直接炸了爬虫服务器
《快速上手nodejs》
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
活动推荐
运营活动
广告
关闭
领券