我在我的robots.txt文件中使用了以下代码:
User-agent: *
Disallow:
但是,我的一个竞争对手正在使用
User-agent: *
Disallow: /
他的网站在谷歌和排名第一的位置上表现很好。但是我的网站没有排名。我已经检查了我的网站上的一切,它是OK的。但我的竞争对手在谷歌的表现如何呢?robots.txt文件无关紧要吗?
发布于 2015-06-06 17:40:01
您的站点排名并不取决于您的robots.txt
文件。你只要告诉谷歌如何在你的网站上抓取和索引页面即可。
网站所有者使用/robots.txt
文件向网络机器人提供有关其网站的指令;
你的网站排名取决于许多因素,比如:
上的时间
顺便说一句,这将阻止来自所有内容的所有网络爬虫:
User-agent: *
Disallow: /
这将允许所有爬虫访问所有内容:
User-agent: *
Allow: /
发布于 2016-04-12 19:40:59
请按照以下步骤操作。
1)
User-agent: *
Disallow: /
如果您的目标是主指挥交换机,则添加您不想爬网的页面或直接在其中添加公共/域名以禁止所有内容
2)我们的网站排名取决于许多因素,比如:<-这件事也很重要,写得很好。
Keyword usage
Site structure
Site speed
Time spent on site
Number of inbound links
Quality of inbound links
3)获取网站源http://www.robotsgenerator.com/的帮助
附言:-请删除robots.txt文件中的网站所有者营销链接。
https://stackoverflow.com/questions/30681245
复制相似问题