1回答
在一些帮助下，我写了一些代码来从网页上抓取一些数据。然而，我只能根据代码抓取每个链接的第一页。目前，下面的代码允许我根据第一页抓取每年数据(https://aviation-safety.net/database/dblist.php?Year=1949)的链接。然而，对于某些年份，在特定年份的链接(https://aviation-safety.net/database/dblist.php?Year=19
浏览 21提问于2019-09-16得票数 1
回答已采纳
像下面这样，我在我的页面中实现了unavailable_after标记，并在3天后设置为不可用，但是在Google工具中，我得到了该页面的404。<META NAME="GOOGLEBOT" CONTENT="unavailable_after: 05-May-2014 15:00:00 EST">
我怎么知道Googlebot访问(爬行)我的页面再读这个标签(或) Googlebot将需要多长时间来再次爬行这些页面？注意:我在XML中
浏览 0提问于2014-05-06得票数 0
回答已采纳
我可以找到最后一个日期，当谷歌爬行我的网站，但我找不到下一个爬行日期。
有什么地方可以让我看看Googlebot什么时候才能回来？
浏览 0提问于2016-02-24得票数 1
我有一个WordPress站点，我们在特定关键字下构建的每一个页面都会被用来交换主页。第二天，我们检查，网页已被交换为主页。我改变了不同的站点地图，看看这是否是问题所在。我无法对每个页面的结果进行优化，从而从关键字中获得最大的好处。
浏览 0提问于2017-05-09得票数 2
我正在使用Nutch抓取网站，奇怪的是，对于我的一个网站用户，Nutch抓取只返回两个url，主页url ()和另一个。我的webiste上的urls基本上是这种格式
Nutch不能抓取这样的网站吗？我应该做什么Nutch设置才能
浏览 0提问于2009-11-10得票数 0
回答已采纳
Facebook共享调试器工具抓取了错误的页面。相反，它抓取了https:/&#
浏览 5提问于2020-02-10得票数 1
我需要得到所有网页的有限列表，这属于一些网站Php。代码看起来会是什么样子？Limited表示功能(某些url，页面限制)。
浏览 0提问于2015-08-05得票数 0
我已经配置了Nutch 2.3.1来抓取一些新闻网站。由于网站主页将在一天后发生变化，这就是为什么我想以一些不同的方式处理主页，以便主页只抓取主要类别，而不是文本，因为文本会在一段时间后发生变化(我在谷歌中观察到了类似的事情)。对于页面的其余部分，它可以正常工作(抓取文本等)
浏览 1提问于2018-03-12得票数 0
1回答
我如何使用机械化和Python来抓取一个网站，递归地跟踪每个页面上的每个链接？我在教程和机械化文档中看到的每一个例子都展示了如何遵循浏览的“路径”(例如，转到主页，填充表单，按提交，对响应做一些事情)，而不是抓取整个网站。
浏览 0提问于2011-11-04得票数 2
我必须纠正一个网站的谷歌搜索标题和摘要有以下代码作为主页： header("Location:/mil/index.php");它将用户转到另一个页面。我知道这不太好，但我想知道如何快速修复它。或者它是从网站页面抓取并绕过这个页面？
谢谢
浏览 2提问于2010-05-12得票数 0
回答已采纳
我想知道如何在循环中进行抓取(第1页，第2页等...)一个有无限循环(如imgur)的网页，例如...？<?
浏览 1提问于2013-01-20得票数 3
回答已采纳
4回答
在我们推出我们的网站之前，我们已经建立了一个“即将到来”的页面，谷歌从其内容中获取了标题和描述。因此搜索结果中的描述是：
马上就来！有关更新，请访问example.org。离我们的网站开通已经有几个星期了。我们甚至创建了一个站点地图并将其提交给了Google。在Google搜索控制台中，页面已经被爬行，所有页面都如预期一样出现在Google上，除了主页，它还没有更新！谷歌搜索结果中主页的</
浏览 0提问于2011-02-04得票数 9
对于一个电子商务，它是正确的选择标签引用相同的网页(显然在其他语言)的所有网页的网站？我将更好地解释，一个在主页中有替换标记的站点，非常简单的例子：以及同一网站的另一页最后是产品：
<link rel=
浏览 0提问于2018-03-29得票数 2
我向我的站点添加了JSON-LD代码，但是搜索栏没有出现。原因是什么？我做错什么了吗？
浏览 0提问于2020-05-29得票数 1
回答已采纳
我正在尝试创建一个爬网.edu域的webCrawler。我为我的程序提供的参数之一是numHops。跳数仅仅是url中/s的数量吗？例如，假设www.harvard.edu在我的种子文件(numHops = 0)中。然后，我通过www.harvard.edu解析更多的锚文本，我得到了www.forfard.edu/faculty和www.forfard.edu/about。那么numHops = 1吗？当我解析该网页以获取更多信息时，我得到的</em
浏览 2提问于2015-02-09得票数 0
1回答
我已经修改了我的网站的关键字，描述，标题，但谷歌没有索引的新关键字。相反，我发现谷歌正在为旧的那个做索引。
我如何让谷歌使用我添加的新关键字来索引我的网站呢？
浏览 0提问于2010-12-27得票数 0
2回答
我们把我们的网站广告放在另外两个网站上。我们需要计算我们从这些广告中获得的点击量，并将其存储在我的数据库中。请给我一个这样做的想法。
浏览 0提问于2010-05-18得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
