我遇到了一些问题谷歌爬虫和元标签，我使用反应头盔(没有ssr)的反应ssr。反应头盔确实有效，但谷歌搜索似乎找不到我添加的标签。我知道爬虫在没有启用js的情况下运行网站，在测试时我可以看到，当js被禁用时，头盔不会呈现标签(启用时可以正常工作)。
当js被禁用时，反作用头盔不会渲染标签，这可能是谷歌搜索中描述和标题错误的原因。当js被禁用时，找到一种呈现适当标记的方法可能会解决这个问题。
知道怎么做吗？
谢谢你的帮助。
浏览 0提问于2020-12-28得票数 0
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
我有一个web爬虫，我使用phantomjs来解析页面，我想得到html，但我总是在html代码之前在输出中得到这种类型的错误。
ReferenceError: Can't find variable: collapse_content_selector
http://staticloads.com/js/toggle.js?v=2013.10.04:135
TypeError: 'undefined' is not a function (evaluating '$('[placeholder]').placeholderLabel()&
浏览 0提问于2013-10-19得票数 26
回答已采纳
1回答
向机器人隐藏代码
、、、、
我只是在想。有没有一种方法只对爬虫隐藏页面的特定部分？
我知道我可以设置"display: none“，然后用JS将其显示给用户。在过去，它可以工作，但现在爬虫(/will )更聪明(尤其是谷歌的爬虫)，可以阅读JS。
那么，有没有办法对机器人隐藏某些部件，但在未来不会对用户隐瞒？不是整页，只是部分。
PS #1:我只是在想，我没有理由这么做(现在？)
PS #2:也许AJAX是可能的？但没有理由不让智能js阅读爬虫来隐藏它。
谢谢大家，
麦芽酒
浏览 6提问于2014-10-16得票数 0
回答已采纳
1回答
我要做个爬虫。对于http请求，我曾经这样做过。
var http=require('http');
var options={
host:'http://www.example.com',
path:'/foo/example'
};
callback=function(response){
var str='';
response.on('data',function(chunk){
str+=chunk;
});
response.on('end', funct
浏览 2提问于2015-01-18得票数 1
回答已采纳
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。
所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？
我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果爬虫不能使用(当然是内容)，就不是一个好主意。
谢谢!
浏览 2提问于2013-03-18得票数 3
如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？ 我试着这样做，但不起作用 $link = $crawler->filter('#list-65544856 div[class = "DJt7 DJuf"]')->link();
浏览 82提问于2021-02-03得票数 0
不会为爬虫加载google-analitics js会导致问题吗？
目前，我想停止加载一些外部js时，爬虫探索我的网站。对我来说，最简单的方法就是不加载google分析。
这对SEO不好吗？我找不到关于这件事的多少信息。
浏览 0提问于2017-09-19得票数 1
1回答
随着HTML流(例如反应18流)的兴起，我想知道爬虫是如何处理HTML的。
最重要的是，爬虫会等到溪流结束吗？
谷歌爬虫是如何处理这个问题的？谷歌确实提到了流这里，但它没有说明谷歌爬虫如何处理HTML。
其他爬虫(DuckDuckGo，Bing，Facebook，Twitter等)怎么样？我假设爬虫会等到HTML流结束时，这个假设安全吗？
HTML可能会导致搜索引擎优化优化页面的快速TTFB。这可是件大事。
浏览 0提问于2021-07-27得票数 7
我正在研究一个网站爬虫机器人，从中提取特定的信息。我至少需要在html文件上运行"on document ready“javascript函数，这样才能生成内容并获得它。我该怎么做呢？我看到一个叫"rhino“的命令，但它似乎只适用于.js文件，该文件是一个html文件。正如你可以猜到的，它里面包含html和JS。我们的计划是:下载html文件，编辑它们的"on document ready“js函数，获取输出，传递下一个，重复。
浏览 82提问于2019-02-11得票数 0
回答已采纳
1回答
我正在写一个爬虫。一旦爬虫登录到一个网站，我想使爬虫“停留-始终登录”。我该怎么做呢？客户端(如浏览器、爬虫等)使服务器遵守此规则吗？当服务器在一天内允许有限的登录时，可能会出现这种情况。
浏览 0提问于2009-11-26得票数 0
回答已采纳
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
请帮帮我
浏览 2提问于2014-09-28得票数 1
我使用import.io创建了一些爬虫，但是对于其中一些爬虫来说，本地运行的选项似乎没有显示出来。有谁知道为什么他们没有从本地运行按钮，或者我怎么才能把爬虫放进去？
浏览 2提问于2015-11-29得票数 0
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。
所以我理解爬虫，实现是另一回事。
所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？比如说我想盘点未知子网等等？
爬虫是如何返回数据的？
浏览 5提问于2008-12-05得票数 0
我正在编写一个多线程的Java网络爬虫。根据我对网页的理解，当用户加载网页时，浏览器请求第一个文档(例如，index.html)，当它接收到超文本标记语言时，它会找到需要包括的其他资源(图像，CSS，JS)，并同时请求这些资源。
我的爬虫程序只请求原始文档。由于某些原因，我不能让它每5秒抓取超过2到5页。我正在为我制作的每一个HttpURLConnection创建一个新的线程。看起来我应该至少能够每秒抓取20-40页。如果我尝试旋转100个线程，我会得到疯狂的I/O异常。知道是怎么回事吗？
浏览 1提问于2009-09-04得票数 2
回答已采纳
在nodejs/express中，如何允许爬虫使用站点地图？
下面的代码是我的应用程序流的一部分，我应该把我的站点地图文件夹/文件放在哪里？以及如何允许爬虫？现在访问domain/sitemap/sitemap.xml节目找不到。
project/app/app.js
app.js
require('./RouteHandler.js')(app, express);
RouteHandler.js
...
var routesIndex = require('./routes/Index/Base.js');
app.use('/', rout
浏览 2提问于2015-09-06得票数 1
回答已采纳
2回答
我在服务器上使用爬虫(FreeBSD 8.3)。这个爬虫(unicrawler )正在使用mongodb，但不幸的是，我在数据库中输入了很多数据。现在我收到这样的信息：
/usr/UniCrawler/api/node_modules/mongodb/lib/mongodb/connection/base.js:242
throw message;
^
MongoError: too much data for sort() with no index. add an index or specify a smaller lim
浏览 5提问于2013-12-28得票数 0
回答已采纳
我有反应网络应用程序。这是一个单一的页面应用程序，所以基本上有一个“空”HTML文件和一个JS包来完成这一切。
但为了提高SEO的能力，我正在为我的服务器上的机器人爬虫做SSR。我还区分了“桌面”爬虫和“移动”爬虫，并为每个爬虫提供了不同的布局。
我通过用户和机器人的User-Agent字符串来区分它们。
所以这些都是可能的：
REGULAR USER => GETS "EMPTY" HTML + JS BUNDLE
ROBOT DESKTOP => GETS RENDERED HTML WITH DESKTOP LAYOUT
ROBOT MOBILE =>
浏览 0提问于2021-01-07得票数 0
回答已采纳
我需要将爬虫统计信息发送到作为爬虫参数传递的URL。我需要每隔5分钟定期发送一次POST请求。我该怎么做呢？
浏览 0提问于2019-02-15得票数 0
爬虫在我的头中没有通过脚本附加的meta标签：
document.head.innerHTML = document.head.innerHTML + '<meta name="description" content="Description">'
此脚本位于head中，并附加了元素fine。我也尝试过JQuery。我想做这第一步，因为我很快就会使用JS从JSON文件中读取来添加动态数据。
有没有合适的JS代码格式可以不阻止爬虫抓取我的脚本？
浏览 1提问于2020-12-15得票数 1
我用Scrapy制作了一个爬虫，它在分析服务器中发送他的输出。
此外，我在Microsoft中创建了一个虚拟机来存储我的爬虫并制作一些cron作业。
我迷路了，我创建了我的虚拟机，我不知道我把爬虫放在哪里，是怎么放进去的?
我已经检查过本教程了
谢谢！
浏览 3提问于2016-03-20得票数 0
回答已采纳
1回答
我想抓取一个网站使用C#或VB.NET。我希望爬虫从网页中提取网址，我也希望爬虫遵循网址，以便我能够从网站中提取所有的网址。
我该怎么写呢？
浏览 1提问于2011-04-06得票数 0
我在我的网站上有一个脚本(年龄检查cookie脚本)
<script>
if(!$.cookie("date") && [*id*] != 1) {
window.location="/[~1~]";
}
</script>
自从10januari以来，谷歌从谷歌索引(site:mysite.com)中删除了带有脚本的页面
我需要从脚本中排除爬虫。但是我该怎么做呢？
/
正
浏览 0提问于2016-03-10得票数 0
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。
我不想做301 - 302 - 307等重定向的原因是因为我希望页面向爬虫程序发送一个200HTTP OK响应。
我通常使用混淆的JavaScript在静态use主机(如S3 )上执行此操作，但是，我意识到爬虫程序可能会拾取JS，因为它是客户端。
我使用的未被阻塞的JS代码示例；
window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP，所以我想做一个类似的重定向，但用的是PHP。
如果有人能分享他或她的意见，这将是最好的方式。
提前感谢！
浏览 0提问于2015-07-29得票数 0
1回答
我想了解Googlebot (和其他爬虫)如何爬行我的网站。具体而言，它是否传递一个document.referrer，如果它维护localStorage密钥，那么我通过Google实现了一个脚本，该脚本检测这些爬虫并将数据记录到Logstash。
这是我用来检测爬虫用户代理的条件(为爬虫返回true )：
function() {
if(navigator.userAgent.indexOf('robot de Google') < 0 &&
navigator.userAgent.indexOf('Googlebot') <
浏览 0提问于2018-02-09得票数 4
回答已采纳
1回答
处理远程:真正的链接和搜索机器人
、、、、
我经常使用remote: true链接。在大多数情况下，响应可以是js或html，因此搜索机器人不会造成问题
但有些链接纯粹是js响应，没有HTML响应(这会导致异常和错误，导致大量监控工具、电子邮件、警报等)
我如何设置链接，使搜索机器人(谷歌，冰，其他爬虫)不会尝试它？
或者-是否有一种类型的响应我应该返回，以便爬虫知道不要返回到那个url？
浏览 2提问于2014-12-03得票数 2
我想写一个爬虫在Java中自动登录到gmail帐户。我的爬虫将获得登录Id和密码，并将登录到电子邮件帐户，并显示输出页面。我不清楚该怎么做。我曾尝试使用HTTP客户端将一些数据发布到博客，因此我熟悉它的基本GET和post方法。
谁能告诉我如何编写爬虫登录到gmail电子邮件帐户？任何回应都将不胜感激。
提前谢谢。
浏览 2提问于2010-08-27得票数 1
在我的网站根目录中，我有一个index.php，当然还有其他的页面。问题是，当我用爬虫或站点地图爬虫等爬行我的网站时，它会报告两个重复的链接。
www.domain.com/
www.domain.com/index.php
如何强制告诉我的爬虫没有相同页面的两个实例？我是否使用301合并它们？一个规范？.htaccess重定向？等等，我该怎么解决这个问题？
浏览 0提问于2014-09-12得票数 0
回答已采纳
我的网站有性能问题，部分原因是机器人。我检查了我的AWStats，发现一些IP地址占用了大量的带宽。我怎么知道列入黑名单是否安全？有几个人每月消耗2GB或更多，一直如此。
看这个截图：
我试过在这些IP上查找IP，但是我如何知道是否应该保留它，比如已知的爬虫？
我还检查了AWStats中的爬虫器，但是我没有看到IP地址，所以我无法知道它是从哪里来的。一个未知的机器人消耗了11 GB，而Googlebot只使用了1GB。
我怎么才能挑出坏爬虫？
浏览 3提问于2017-10-29得票数 0
回答已采纳
0回答
我正在开发一个应用程序，这将有一些网站的网络爬虫。
应用程序将通过URL触发Azure函数，爬虫将从该URL开始工作。
到目前为止，一切顺利，但是，我们必须保存一些爬虫通过该站点的证据。我们正在考虑用爬虫经过的屏幕保存一个PDF文件，但是，由于Azure函数没有GDI+，它不能与Selenium或PhantomJS一起工作。
一种不同的方法是下载HTML内容并以某种方式将此HTML字符串(带有所有JS和CSS依赖项)保存到PDF文件中。
我想要一些库，它可以与Azure函数一起工作，以制作一些URL (或HTML字符串)的屏幕截图，并保存为PDF。
谢谢。
浏览 7提问于2018-07-16得票数 0
回答已采纳
1回答
我在试着了解网络爬行是如何工作的。有三个问题：
我们是否必须有一个初始的URL目录来构建一个更大的URL目录？这是怎么回事？
有没有用python编写的开源web爬虫？
哪里是学习更多关于网络爬虫的最好的地方？
浏览 2提问于2018-10-11得票数 1
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
是否可以使用Twit进行爬虫，是否也可以在不和谐的信道中输出接收到的数据？目前，我已经做了一个脚本与两个模块，它的工作很好。控制台输出同时适用于Discord.js和Twit。我已经输入了表示不和谐的标记和Twitter API的几个键。但我的目标有点复杂。使用twit，我需要做一个爬行器，实时地从twitter帐户中抓取tweet，而Discord.js应该在一个不和谐的渠道中输出这些数据。有人知道怎么做吗？我试着用Twit的流函数进行实验，但不知道它到底是如何工作的。它在任意时间范围内随机搜索推文。我不知道怎么配置它。即使我发现了这一点，我仍然需要将它与Discord.js集成
浏览 6提问于2019-10-12得票数 2
回答已采纳
我试着做一个内部有爬虫产卵的结构，但我还没有找到任何东西告诉我该怎么做。我尝试使用元数据(爬虫生成器52:50)来生成块，但是我没有找到使用块元数据的任何东西，我还尝试了一个转换为java的逻辑示意图，但是1.7.10版本中不存在
有没有人能帮帮我，告诉我怎么做？谢谢
浏览 4提问于2021-03-10得票数 0
2回答
试图创建动态og:图像标签，供爬虫捕捉适当的缩略图。我有一个JS脚本，生成适当的og:image url，但是爬虫在搜索时似乎没有运行任何JS。有更好的方法吗？
目前：
<head>
<script>
const queryString = window.location.href;
const urlParams = new URLSearchParams(queryString);
const uid = urlParams.get('uid')
const pid = urlParams.get('pid
浏览 0提问于2020-08-11得票数 3
回答已采纳
在scrapy中，有一个将爬行限制到特定域的选项，即将它们放入allowed_domains变量中。
我怎么能不允许爬虫碰到某些子域呢？
我如何不允许爬虫遵循某些模式的链接，例如包含"?login=“或
是否有可能只遵循满足某种正则表达式的链接？
浏览 0提问于2015-07-12得票数 1
1回答
在cronjob上优化爬虫脚本
、、、、
我在一个MySQL表中有大约6600万个域，我需要在所有域上运行爬虫，并在爬虫完成时更新行计数=1。
爬虫脚本在php中，使用php爬虫库，这里是脚本。
set_time_limit(10000);
try{
$strWebURL = $_POST['url'];
$crawler = new MyCrawler();
$crawler->setURL($strWebURL);
$crawler->addContentTy
浏览 2提问于2015-03-01得票数 1
2回答
我试图创建一个web应用程序，用户可以选择一个电影的名称(前)。(“空中坠落”)从下拉列表。然后，我想执行一个爬虫到rottentomatoes.com并获取与这部电影相关的所有html页面。我已经使用Tomcat在Eclipse中创建了我的web应用程序( GUI)。我有一个web爬虫: crawler4j，如果我选择将主.java文件作为应用程序运行，它就会运行。我怎么才能把这两者结合起来？
是否可以使用html中的参数(电影名称)调用java类文件？
为了在我的html中执行它，我必须用爬虫创建一个单独的Applet吗？我可以这样做并用它发送字符串( html中的电影名称，所以我
浏览 3提问于2012-12-10得票数 0
回答已采纳
我有一个小网站，它使用Laravel和Vue.js来呈现一个列表。您可以查看它。看起来谷歌爬虫无法跟踪v-for生成的链接。
Google说：Not found: vergleichen/%7B%7B%20anbieter.slug%20%7D%7D和我认识的所有页面爬虫都无法抓取链接。
我做错什么了？有解决办法吗？任何帮助都是非常感谢的♥
更新
@Linus:您的假设是正确的，是我的刀片文件的内容，JS看起来如下：
var suche = new Vue({
el: '#suchen',
data: {
search: ''
浏览 3提问于2016-04-16得票数 1
1回答
工作在风暴爬虫1.12.1和弹性搜索6.5.2。我需要提高我的搜索引擎的效率。为了安全起见，我在对文档进行弹性搜索之后删除了一些文档。那么，我的问题是，风暴爬虫会重新抓取删除的urls和重新索引吗？我不想重新抓取被删除的记录，我怎么能做到这一点？
浏览 0提问于2019-01-07得票数 0
回答已采纳
1回答
什么是最好的方法，我可以使一个在react JS中构建的web应用程序为谷歌爬虫的SEO目的而工作。我希望整个页面都能爬行。 基本上，问题是当它在客户端呈现时，爬虫除了根div之外什么都看不到。 应用程序托管在cloudfront存储桶上，并使用S3作为服务器。我读过关于Lambda@Edge的文章，但不确定它是否可以工作。 帮助!
浏览 73提问于2021-07-01得票数 1
回答已采纳
我正在写一个抓取许多urls作为输入的爬虫，并将它们分类为类别(作为项目返回)。这些URL通过我的爬虫提供给爬虫start_requests()方法。 有些网址可以在不下载的情况下进行分类，所以我想yield直接使用Item为他们在start_requests()，这是scrapy所禁止的。我怎么才能绕过这一步呢？ 我曾考虑过在自定义中间件中捕获这些请求，这将使它们变成虚假的Response对象，然后我可以将它们转换为Item对象，但任何更简洁的解决方案都是受欢迎的。
浏览 105提问于2016-02-10得票数 5
回答已采纳
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。
在这个php页面中，我将返回一个加密的json。同样在这个页面中，我有一段代码来跟踪哪个in正在访问这个php页面，并且我注意到有一个spyder/Nutch-2爬虫正在访问这个页面。
我在想，一个爬虫怎么可能找到一个没有在任何搜索引擎中发布的页面。我有办法阻止爬虫访问这个特定的页面吗？
我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
1回答
实现站点上每页查看计数器的最佳方法是什么(就像Stackoverflow有问题页一样)？选项：
AnalyticsCount 以编程方式从Google 中获取唯一的页面浏览次数(尽管这种方法对爬虫和机器人进行计数)，计数该页面的服务时间，并试图通过JS过滤出爬虫用户代理Ping服务器(然后过滤出来自同一个IP /用户的页面？)。
浏览 3提问于2010-12-23得票数 0
回答已采纳
我写的sitemap scrapy如下：
class filmnetmapSpider(SitemapSpider):
name = "filmnetmapSpider"
sitemap_urls = ['http://filmnet.ir/sitemap.xml']
sitemap_rules = [
('/series/', 'parse_item')
]
def parse_item(self, response):
vid
浏览 2提问于2018-07-04得票数 0
1回答
我想建立一个由大约2000-3000个网页组成的数据集，从几个种子URL开始。我尝试使用Nutch爬虫，但我无法完成它(无法将获取的‘片段’数据转换为html页面)。
对你使用过的其他爬虫或其他工具有什么建议吗？如果web页面包含绝对URL，这将使脱机使用数据集变得不可能，该怎么办？
浏览 2提问于2012-01-22得票数 0
回答已采纳
要么是我的google-fu让我失望了，要么就是还没有太多的人这么做。正如您所知，Backbone.js有一个弱点--它不能为页面爬虫(比如googlebot )呈现的html提供服务，因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎，以及JavaScript应用程序正在崛起这一令人警醒的事实，我预计有一天会发生这种情况)。我知道Google有一个hashbang的解决方案，但这只是一个糟糕的主意。另外，我正在使用PushState。这对我来说是一个极其重要的问题，我也希望对其他人也是如此。SEO是不可忽视的东西，因此对于许多需要或依赖的应用程序来说，不
浏览 4提问于2012-09-16得票数 19
1回答
我正在使用Abot库来抓取网页。爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。
我试着让程序等待，希望动态的请求无论如何都会被发送，但这似乎不起作用。
我希望加载整个页面，但只加载页面的底部。
如何才能使crawler请求所有数据？
谢谢!
浏览 12提问于2019-07-09得票数 0
2回答
我开始构建一个网络爬虫，在某个地方读到要为爬虫找到一个好的种子页面是一个非常困难的问题。有谁能解释我是否有任何预定义的程序/指导方针找到一个好的种子页？或者你怎么说一个特定的页面是一个好的种子页？
浏览 0提问于2013-02-01得票数 7
回答已采纳
我认为我遇到了机器人和爬虫夸大我的阅读计数的问题(基本上是博客帖子上的点击计数器，每次刷新都会增加+1 )。
有没有办法过滤掉机器人和爬虫？我想也许可以使用$_SERVER['HTTP_USER_AGENT']来过滤，但我不确定该怎么做，或者它是否会起作用
或者即使有人有更好的主意。
浏览 4提问于2018-07-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
