首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Robots.txt文件

Robots.txt文件
EN

Stack Overflow用户
提问于 2015-06-06 17:36:45
回答 2查看 3.8K关注 0票数 1

我在我的robots.txt文件中使用了以下代码:

代码语言:javascript
运行
复制
User-agent: *

Disallow: 

但是,我的一个竞争对手正在使用

代码语言:javascript
运行
复制
User-agent: *

Disallow: /

他的网站在谷歌和排名第一的位置上表现很好。但是我的网站没有排名。我已经检查了我的网站上的一切,它是OK的。但我的竞争对手在谷歌的表现如何呢?robots.txt文件无关紧要吗?

EN

回答 2

Stack Overflow用户

发布于 2015-06-06 17:40:01

您的站点排名并不取决于您的robots.txt文件。你只要告诉谷歌如何在你的网站上抓取和索引页面即可。

网站所有者使用/robots.txt文件向网络机器人提供有关其网站的指令;

你的网站排名取决于许多因素,比如:

  • 关键字用法
  • 站点结构
  • 站点速度
  • 花费在站点

上的时间

  • 入站链接数

顺便说一句,这将阻止来自所有内容的所有网络爬虫:

代码语言:javascript
运行
复制
User-agent: *
Disallow: /

这将允许所有爬虫访问所有内容:

代码语言:javascript
运行
复制
User-agent: *
Allow: /
票数 9
EN

Stack Overflow用户

发布于 2016-04-12 19:40:59

请按照以下步骤操作。

1)

代码语言:javascript
运行
复制
User-agent: *
Disallow: /

如果您的目标是主指挥交换机,则添加您不想爬网的页面或直接在其中添加公共/域名以禁止所有内容

2)我们的网站排名取决于许多因素,比如:<-这件事也很重要,写得很好。

代码语言:javascript
运行
复制
Keyword usage
Site structure
Site speed
Time spent on site
Number of inbound links
Quality of inbound links

3)获取网站源http://www.robotsgenerator.com/的帮助

附言:-请删除robots.txt文件中的网站所有者营销链接。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30681245

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档