1回答
搜索引擎爬行问题
、、
我的站点的主页是/home.php --这个页面有分页，带有锚标记，链接到同一页面的许多其他查询，例如等等..。我的问题是，当我在站点地图中包含home.php页面时，爬虫会爬行任何页面home.php链接到的内容。/home.php?star=4)？还是我必须把每一页都包含在一个站点地图上？
浏览 2提问于2010-02-25得票数 0
回答已采纳
1回答
我有一页有很多中等大小的图片(目前是100‘S)，我正在考虑为用户实现无限滚动，并与链接prev/next结合使用分页，因此SEO仍然会选择后面的图像(这将被js隐藏在文档加载中)我知道还有其他问题，但我有一些问题还没有得到回答：
对于使用onload隐藏分页，如果我使用display:none代替分页，SEO是否仍然会捡起它，或者当onload事件发生时，我应该通过js将显示更改为none？如果我实现分页为www.domain.com/content?page=1，...page=2等，SEO会拿起G
浏览 0提问于2014-01-25得票数 1
回答已采纳
然而，这意味着搜索爬虫无法获得第一个“分页符”之后的所有内容。例如，我有一个页面，其中列出了所有带有"infographic“标签的项目。实际上有几十个这样的项目，但爬虫只能看到前10个项目，因为其他项目是根据内容相对于浏览器窗口的位置加载的。由于爬虫没有浏览器窗口，所以根本不会加载新项目。那么，什么才是正确的方式，让搜索爬虫通过无限滚动访问网页的全部内容，同时又允许用户享受无限滚动和没有分页的情况？
浏览 0提问于2012-05-28得票数 13
回答已采纳
我正在尝试建立一个这个网站的import.io爬虫，但当我点击“下一步”到下一页训练，它把我带回第一页，因为正在使用的分页系统。非常感谢任何关于如何让import.io爬虫爬行通过这些页面的建议。根据import.io网站上的建议，我试图在与服务器交换的数据包中找到分页系统，但没有成功。如果你能帮上忙，谢谢。JRH
浏览 1提问于2015-08-31得票数 1
我有一个结果页面，结果是用ajax加载的，这意味着分页按钮正在调用JS。链接到结果页是美丽的‘/结果/销售/06589’，我会引导谷歌到这个页面，但有没有办法让爬虫机器人点击分页按钮。
浏览 0提问于2011-06-04得票数 1
我的分页功能类似于twitter和facebook的分页功能。对于非javascript用户，我没有一个规范的分页。我读了关于爬行ajax的Google规范，但我不确定如何将我的模型转换为google新模型。但是，不知何故，我必须传播这个页面链接到谷歌爬虫http://www.domain.com/search.aspx#!somevalue。这样可以吗？
好的!但是当谷歌爬虫访问我的页面时，爬虫不会看到任何到的链接，除非我在网站地图中指出它，这对我来说毫无
浏览 4提问于2011-11-05得票数 1
回答已采纳
1回答
page=4
似乎完全有可能使无休止的分页，SEO友好，只要您的每个页面是分开寻址使用rel="next"/"prev"和HTML5历史API是用来警告DOM时，一个新的页面被加载。因此，我的问题是:百度的爬虫(百度的爬虫)是否足够聪明，能够理解无止境的JavaScript分页，就像谷歌的机器人显然能做到的那样？
浏览 0提问于2015-12-03得票数 2
回答已采纳
我们的SEO专家建议，我们不做懒惰加载和分页，因为他们说，谷歌爬虫将无法抓取页脚内容，如果我们实现我们的产品在目录页无限懒惰加载。这是真的吗？
浏览 0提问于2018-09-27得票数 1
2回答
我有一个爬虫应用程序，应该分析从一个页面与分页的所有项目。不幸的是，我的应用程序爬行的网站使用回发进行分页。如何以编程方式获取第二页的内容，以便在C#中使用下面的网址。
浏览 4提问于2011-06-20得票数 0
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
这个问题实际上是双重的：
是否有可能通过检测用户代理(~灯塔，其他页面爬虫)来欺骗分页分析器，并为该网站提供一个简化的、更快的版本？如果是的话，这会不会随着时间的推移而被发现，让你被列入黑名单？另外，与之相反的是，是否有可能向爬虫提供额外的数据(json-ld)，而这些数据是您不希望加载给普通用户的？
浏览 0提问于2019-04-03得票数 0
回答已采纳
1回答
分页和复制内容
、、
因为有这么多，我运行了一个分页脚本：其中p是页码，pp是每页要显示的文章数。分页内容如下：将每一项链接到p，如<a href="?p=x">x</a>。现在我有了一个PHP脚本，它将pp修正为一个会话变量。但是我担心重复的内容(因为增量pp值将是包含的)，也担心内容没有被索引，因为它不在分页链接中。因此，
浏览 0提问于2014-08-22得票数 0
我需要抓取一个网站，但问题是，在底部没有链接的分页。如果滚动到底部，则会追加数据。现在，我怎样才能用我的爬虫做到这一点呢？有什么想法吗？
浏览 0提问于2013-02-05得票数 0
我在我的网站管理员工具帐户中收到了6000+爬虫错误。下面是被识别为问题URL的URL之一。我允许代码点火器config.php中的字符。我只使用查询字符串进行分页，比如?page=1。
关注1:为什么google在URL中添加额外的参数2:为什么它开始使用&而不是？
浏览 0提问于2015-07-21得票数 1
我的模块分页了。我想要添加一个尾随斜杠或删除一个尾随斜杠。现在，我正在考虑在所有URLS中添加一个拖尾斜杠。对于像sitename.com/module/page/5/这样的分页URLS，添加尾随斜杠会产生什么效果？
/page/5/和/page/5在用户、seo和爬虫方面会有什么不同？
浏览 0提问于2013-01-28得票数 2
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
我正在使用一个网络爬虫(称为Nutch)，当我把一堆urls输入到它中时，它会爬行网络。我设置了某些正则表达式过滤器来控制爬虫到特定的域和特定的过滤器。/]+/){6,}.*$
crawler ：在特定的域中，我的爬虫正在用我不想要的所有分页和查询参数爬行所有搜索表单contains&SubjectText=abc_ar
浏览 2提问于2014-06-02得票数 0
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
