如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？
浏览 82提问于2021-02-03得票数 0
这不一定是一个爬虫，但我想它更容易理解说明的方式。我想在node.js中执行同样的任务。as的res.render似乎不接受html-string作为输入。如何用节点模拟浏览器的javascript呈现能力？假设node.js get与浏
浏览 2提问于2015-02-01得票数 2
4回答
我有简单的爬虫爬行和搜索页面。但是现在我遇到了如何从页面执行和解析js链接的问题。有人知道如何解析和执行js页面吗？
some_url很容易用webhtmltoolktit解析。JAVASCRIPT(1，7，0，2，7，9)是js链接，然后重定向到some_url2页面，然后我需要爬行这个页面。但问题是如何在C#中执行这个javascript以获得some_url2链接？
浏览 13提问于2011-01-20得票数 24
回答已采纳
somepath/template_1.html';//and so on现在，爬虫正在尝试跟踪这些链接如何防止这种情况发生？
浏览 0提问于2013-02-22得票数 0
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
1回答
问题是爬虫找不到规范的站点，因为它是通过Angular动态加载的。有没有可能绕过这个限制，比如在Angular项目的索引站点中放置对所有对象的引用？更清楚地说：object的详细视图: mysite.com/#/ detail /object1
如果我根据当前显示的对象动态添加对amp页面的引用，爬虫将找不到amp
浏览 1提问于2017-09-18得票数 0
3回答
我想知道为什么爬虫不运行javascript来获得呈现的页面和索引。这背后有什么原因？或者这是搜索引擎未来可能会出现的一个缺失的特性？
浏览 4提问于2013-10-10得票数 17
回答已采纳
1回答
我想在HTML页面中有条件地添加元标记，我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。if(myHost.startsWith("techstag")) {}
浏览 1提问于2020-01-06得票数 1
1回答
我有一个完整的网站建立的反应前端和NodeJs + Express后端。我的需求是拥有一个特定路由的动态OG (Open图)标记，这是由特定组件使用的。这是相关的代码：路线：这是DigitalCard组
浏览 4提问于2021-01-13得票数 1
是否有任何更好的方法来实现SEO/执行上述方案的搜索？谢谢
NBaua
浏览 0提问于2013-07-26得票数 1
回答已采纳
如果客户端通过jquery请求wcf服务，wcf如何检测是否真的是我的客户端代码或爬虫应用程序/我修改后的js (使用参数组合请求)正在爬行我的数据库？Serdar Irmak
浏览 2提问于2011-07-26得票数 0
回答已采纳
我是这个框架的新手，在通过互动学习之后，我有一些关于Next.js如何处理SEO问题的问题。Next.js粗体功能是它在服务器端呈现React组件的能力，然而，据我所知，它只在服务器端呈现 first 请求，而其他请求将在客户端呈现，那么它如何在第一个假设为SEO friendly?Based、像google这样的爬虫器访问我们的站点、然后作为完整的HTML页面返回第一个响应，但是对于接收到的页面内的其他连续链接，它如何做得更好呢？它应该使用Javascript(这是SEO的主要致命弱点
浏览 3提问于2020-02-09得票数 3
回答已采纳
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
假设页面的所有内容都是由javascript拉取的……搜索引擎爬虫能够获取页面内容吗？
我听说爬虫在页面上爬行时并不总是支持javascript或执行javascript。
浏览 1提问于2012-07-30得票数 0
2回答
如果我想要更改数据，我可以使用JS来完成，而无需重新加载页面。百事大吉。
但是，现在，我了解到元标签不能使用js更改，应该让它重新加载/刷新page...is，这是正确的吗？
浏览 14提问于2019-08-18得票数 2
1回答
我想了解Googlebot (和其他爬虫)如何爬行我的网站。具体而言，它是否传递一个document.referrer，如果它维护localStorage密钥，那么我通过Google实现了一个脚本，该脚本检测这些爬虫并将数据记录到Logstash。这是我用来检测爬虫用户代理的条件(为爬虫返回true )：if(navigator.userAgent.indexOf('robot de Google') < 0 &&;
js</e
浏览 0提问于2018-02-09得票数 4
回答已采纳
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2提问于2014-09-28得票数 1
4回答
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。我使用的未被阻塞的JS代码示例；然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。
浏览 0提问于2015-07-29得票数 0
我正在寻找一种方法来下载所有的HTML，CSS和JS的发送网址，并创建相同的文件夹结构的目标网站。
我将不得不使用Azure函数来执行爬虫。我找到了关于它的，但它只显示如何下载超文本标记语言，我需要创建爬虫看到的完全相同的东西(图像，CSS和处理过的JS)。
浏览 9提问于2018-07-19得票数 1
回答已采纳
我已经(我相信)根据他们的指示在Adsense接口中启用了爬虫访问。<script type="text/javascript"\n\
src="http://pagead2.googlesyndication.com/pagead/show_ads.js
浏览 2提问于2012-06-21得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
