腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
视频
沙龙
2
回答
301重定向到除robots.txt之外的所有
、
我们已经将我们的网站移动到一个新的域名,并希望旧网站的所有页面从搜索引擎中删除。这是相同的网站,相同的内容,只是一个新的领域,所以搜索引擎正在花费时间,因为重复的内容(可能)。我们已将旧站点中的.htaccess 301添加到新站点,如下所示: redirect 301 / http://new-domain.com/ 现在,为了从搜索引擎中删除我们的旧站点,我们将旧站点上的robots.txt更改为: User-agent: * Disallow: / 问题是,由于.htaccess 301重定向,搜索引擎正在从robots.txt -domain.com获取域名。 如何限制robots.t
浏览 1
提问于2010-09-23
得票数 3
1
回答
如何停止WordPress显示虚拟Robots.txt?
问题是,我可以在这里看到robots.txt文件: (请在域名后面加上/robots.txt ) 但是谷歌不能! 我知道我可以在网站的根目录下找到robots.txt文件,但是嘿,我的里面没有robots.txt文件,这个robots.txt是由WordPress制作的虚拟文件。现在如何阻止wordpress这样做呢?! 或者,如果我不能阻止wordpress显示那个虚拟的robots.txt文件,我怎么能停止谷歌在我的网站上寻找它呢?也许是.htaccess代码或者别的什么? 谢谢
浏览 9
提问于2013-01-02
得票数 1
3
回答
隐藏特定文件夹及其子文件夹和文件?
、
我想在public_html中隐藏一个名为( robots.txt )的文件夹,使搜索引擎看不到它的所有子文件夹和文件,我是否必须将文件放在根文件夹(/)中,并像下面这样处理beta中的内容 User-agent: * Disallow: /public_html/beta 或 将robots.txt放在public_html中,并按如下所示执行内容 User-agent: * Disallow: /beta
浏览 1
提问于2013-01-10
得票数 0
1
回答
robots.txt允许和不允许少数页面,这对其他页面意味着什么?
我查看了许多网站的robots.txt文件,以检查我是否可以刮一些特定的网页。当我看到下面的模式- 用户代理:* 允许:/某些页 不允许:/另一页 robots.txt文件中没有其他内容。这是否意味着所有其他的其他网页在给定的网站上可供刮除? P.S. -我试过搜索这个特定的案子但没有任何进展。
浏览 0
提问于2020-03-14
得票数 1
回答已采纳
1
回答
如何防止Google为域建立索引?
我有几个领域,我用于开发和测试网站。因为它通常有生产网站的实际内容,我不希望谷歌永远索引这些域名。 我不想使用robots.txt作为解决方案。我一直在删除和重新安装这些域上的所有内容,包括robots.txt。我不想设置某种HTTP状态代码,因为在测试过程中我需要200 OK。密码保护网站也是一个痛苦,因为客户感到困惑,它阻止我从某些测试,等等。 网站管理员工具中有什么东西我可以用来告诉Google不要索引网站吗?此外,我如何删除谷歌到目前为止索引的任何和所有页面?
浏览 0
提问于2017-12-21
得票数 1
1
回答
禁用爬行子域google爬虫
、
我想知道我怎么能不允许谷歌爬行我的子域名? 我为我的网页文件夹做了一张照片。awesom媒体文件夹是主站点www.awesom-media.de是.的文件夹。 另一个曾经是子域。我想说的是谷歌不应该爬这个,但我不知道怎么爬。 我在awesom媒体文件夹中没有robot.txt,但正如您在/部件中所看到的那样。robot.txt的内容是User-agent: * Disallow:。 仅此而已。 我怎么能告诉google不要爬行子域
浏览 5
提问于2014-09-08
得票数 1
回答已采纳
1
回答
防止在Google和Bing等搜索引擎中为域名建立索引
、
、
我有一个对所有用户公开的域(例如domain.com),我有一个仅供站点管理员使用的一般域(这里是secretdomain.com)的秘密子域(例如site1.secretdomain.com)。 我不希望谷歌或其他搜索引擎索引秘密域名或其子域名。你对此有什么想法吗?我认为robots.txt不起作用,因为它对所有领域都进行了更改。
浏览 1
提问于2015-10-22
得票数 0
1
回答
子域扫描保护
、
、
我已经看到,我们所有的子域都可以在像dnsdumpster这样的网站帮助下被扫描。保护任何网站的子域不被扫描或通过像dnsdumpster这样的站点显示的最佳方法是什么。 即使我们将其添加到Robots.txt中,子域名URL仍然可供任何知道网站网址的人使用。
浏览 0
提问于2019-04-16
得票数 0
1
回答
现有文件的重写规则
、
、
我的服务器上有robots.txt和script.php文件。我想用以下代码将所有对robots.txt的请求转移到script.php: RewriteEngine On RewriteCond %{REQUEST_URI} ^robots.txt$ RewriteRule .* script.php [F,L] 但它不起作用。如果我从服务器上删除robots.txt -一切都很好...
浏览 10
提问于2019-06-03
得票数 0
1
回答
Googlebot用子域名替换Rails应用的链接
、
、
我有一个Rails应用,域名是abc.com。我也有一个单独的子域的Piwik统计数据,在这个子域stats.abc.com。 谷歌机器人不知何故也列出了一些与我的子域的链接。 http://abc.com/login http://stats.abc.com/login http://abc.com/signup http://stats.abc.com/signup 使用stats的网站将引用应用程序中的相同页面,但会被视为完全不同的网站。 我已经在这件事之后,在stats的robots.txt,但不知道是否有任何适当的方法来阻止这一点,因为我可能会有新的子域在未来。以下是我在robots
浏览 0
提问于2010-12-29
得票数 1
回答已采纳
1
回答
根据域将example.txt重写为另一个
我使用多安装我的网页与两个不同的域名,我需要为每个域名一个唯一的robots.txt 像https://www.domain1.tdl/robots.txt应该使用https://www.domain1.tdl/robots_domain1.txt 和 https://www.domain2.tdl/robots.txt应使用https://www.domain2.tdl/robots_domain2.txt
浏览 13
提问于2019-05-22
得票数 0
1
回答
停止google索引子域
、
我有子域名"klient“为我们的客户测试网站,我不想被索引。我在robots.txt (我们网络的根目录)中设置了以下内容: User-agent: * disallow: /subdom/klient/* 但我不确定,它是否真的有效,因为我现在已经在谷歌的结果中找到了测试站点. 哪里可能有问题,或者我们如何阻止谷歌和其他机器人索引这个文件夹.? 谢谢
浏览 6
提问于2017-05-26
得票数 7
回答已采纳
1
回答
修改robots.txt是否立即生效?
、
我正在尝试解决一个问题,Googlebot似乎正在消耗我的CPU使用率。为了确认我的猜测,我修改了网站根文件夹中的robots.txt,添加了 Disallow: / 干杯。我有两个网站在不同的服务器上,他们都有这个问题。其中一个在我编辑robots.txt后,CPU使用率下降到正常水平,另一个我从apache访问日志中看到Googlebot仍在运行。 所以我去谷歌搜索控制台测试robots.txt。对于第一个问题,我发现谷歌已经发现了最新的robots.txt,并停止在我的网站上爬行;对于第二个问题,谷歌仍在使用旧版本的robots.txt。因此,修改robots.txt并不总是立即生效,
浏览 68
提问于2020-04-05
得票数 0
1
回答
robots.txt:网站仍未出现在Google中
我有下面的robots.txt User-Agent: * Disallow: User-Agent: Googlebot Allow: / 我上周做了这个改变,当我在谷歌上搜索我的域名时,我仍然可以得到A description for this result is not available because of this site's robots.txt。我做错了什么吗?谷歌每隔多长时间进入一个域名?
浏览 3
提问于2015-03-04
得票数 0
回答已采纳
1
回答
如果header x- robots.txt设置为noindex,no follow,是否有必要使用robots?
、
、
、
我正在尝试阻止我的网站被索引/列出: 我在.htaccess中设置了: Header set X-Robots-Tag "noindex, nofollow" 还需要设置robots.txt吗? User-agent: * Disallow: / 添加robots.txt有什么坏处吗?
浏览 4
提问于2016-08-19
得票数 0
3
回答
如何使用robots.txt不允许只对子域进行爬行?
、
如果我想我的主要网站上的搜索引擎,但没有子域,我应该只是把“不允许所有的”robots.txt在目录的子域?如果我这样做了,我的主域是否仍然可以爬行?
浏览 0
提问于2012-08-31
得票数 8
5
回答
使用Perl检查url是否被robots.txt阻止
谁能告诉我检查url是否已被robots.txt阻止的示例代码?我们可以在robots.txt中指定完整的url或目录。Perl中有没有helper函数?
浏览 0
提问于2011-05-31
得票数 0
回答已采纳
1
回答
将Noindex Follow设置为subdomains - robots.txt
、
、
、
、
我需要设置noindex,跟随到3个子域名。我发现你可以用.htaccess重写,但是你怎么处理多个子域呢?我在服务器上看不到子域的目录。 这就是我发现的。 <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_HOST} ^dev\.qrcodecity\.com$ RewriteRule ^robots\.txt$ robots-dev.txt </IfModule> 这将把dev.qrcodecity.com的robots.txt重定向到robots-dev.txt 谢谢
浏览 0
提问于2014-03-25
得票数 0
1
回答
我可以使用`robots.txt`文件作为我们学校域名的子目录吗?
我拥有一些在大学注册的网络空间。不幸的是,谷歌在网站上找到了我的简历(简历),但却把它错误地编成了学术出版物,这就把引用之类的东西都搞砸了。我试图将一个robots.txt上传到我的本地子目录。问题是google忽略了这个文件,而是使用了学校域名的规则。 也就是说,url看起来 www.someschool.edu/~myusername/mycv.pdf 我上传了一个robots.txt,可以在这里找到 www.someschool.edu/~myusername/robots.txt 谷歌对此置若罔闻,转而使用robots.txt作为学校的域名 www.someschool.ed
浏览 3
提问于2012-04-12
得票数 2
回答已采纳
6
回答
rails中子域的多个robots.txt
、
我有一个具有多个子域的网站,我希望命名的子域robots.txt是不同于www的。 我试着使用.htaccess,但是FastCGI看不到它。 因此,我正在尝试设置路由,但似乎您不能直接重写,因为每个路由都需要一个控制器: map.connect '/robots.txt', :controller => ?, :path => '/robots.www.txt', :conditions => { :subdomain => 'www' } map.connect '/robots.txt', :cont
浏览 1
提问于2010-05-01
得票数 9
回答已采纳
1
回答
链接到同一根文件夹的不同域名的不同robots.txt内容
、
我有两个域名链接到一个和相同的根。如何让robots.txt根据域名有不同的内容?
浏览 1
提问于2010-11-26
得票数 1
回答已采纳
1
回答
如何从子域删除索引URL而不会遇到Google中的404错误
、
我有一个域名(前)。( test.com)安装了wordpress的。我还在子域上安装了另一个wordpress (例如。( test.com/blabla)。Blabla包含许多索引页面,但现在我想完全删除它们,并删除blabla子域上的wordpress。我怎样才能做到这一点?请记住,我不想在test.com中更改任何东西 我真的很感谢你的帮助,谢谢你提前。
浏览 2
提问于2018-11-20
得票数 0
回答已采纳
1
回答
谷歌无法抓取您的站点,因为我们无法访问您站点的robots.txt文件
、
、
我用谷歌站长验证了我的网站。我已经在姜戈建立了我的网站,我还添加了robots.txt。现在谷歌显示了绿色的标记,我认为它在域名系统和服务器连接上是好的,但在robots.txt fetch上显示红色的警告标记。 我的robots.txt看起来像 User-agent: * Disallow: 谷歌需要时间来抓取网站吗?或者我的robots.txt或其设置有错误。 当我从像mysite.com/robots.txt这样的站点打开robots.txt时,我可以看到robots.txt文件。 另外,当我在站长中运行robots.txt测试时,它给出了允许的结果。我的网站甚至没有被谷歌搜索到.. 但
浏览 0
提问于2015-02-10
得票数 1
1
回答
当url被重定向到其他域时,我应该考虑robots.txt吗?
、
、
、
我想爬一些网站上的medium.com,自定义域。(例如,) 这些站点总是重定向到"medium.com“,然后返回到站点。但是这里有一个问题,medium.com的重定向url被它的robots.txt不允许。 这是重定向的方法。 这个问题在robots.txt不允许的第二个url“robots.txt”之上。 User-Agent: * Disallow: /m/ Disallow: /me/ Disallow: /@me$ Disallow: /@me/ Disallow: /*/*/edit Allow: /_/ Allow: /_/api/user
浏览 2
提问于2017-11-02
得票数 4
2
回答
Robots.txt拒绝除一个域之外的所有域
有没有办法拒绝除一个域之外的所有机器人?我希望搜索引擎不爬行,除非它是一个特定的领域。
浏览 1
提问于2013-10-24
得票数 0
1
回答
RewriteCond在.htaccess中搜索域子文件夹中的robots.txt和sitemap.xml
、
、
我想写一个重写程序,在一个与域名匹配的子文件夹中搜索robots.txt和sitemap.xml文件,不管有没有www。让我们举一个例子: 我有域aaa.com,bbb.com和ccc.com 它们都安装在相同的根文件夹%{DOCUMENT_ROOT}中。 它们可以通过www访问,也可以不使用www访问。 如果有人试图访问文件,我想执行以下操作: 如果请求的文件是robots.txt { 如果有一个与子文件夹%{DOCUMENT_ROOT}/aaa.com/robots.txt匹配的文件(提供该文件并停止) *1 ElseIf有一个与子文件夹%{DOCUMENT_R
浏览 1
提问于2013-11-15
得票数 1
回答已采纳
1
回答
子目录可以覆盖父域的robots.txt吗?
上下文: sith.edu通过反向代理映射子目录sith.edu/rogueone (/rogueone使用的是不同的CMS,托管在其他地方)。 我的问题是:如果sith.edu将不允许/rogueone添加到他们的robots.txt中,/rogueone可以使用自己的robots.txt来覆盖这种效果吗?还是谷歌会遵守父域名的robots.txt不允许规则?
浏览 0
提问于2020-07-13
得票数 1
回答已采纳
1
回答
如果站点由于robots.txt而没有爬行,则获取响应
、
、
、
我正在尝试抓取用户定义的网站,但无法抓取robots.txt正在阻止爬行的站点。这很好,但我想得到的响应,我可以告诉用户,“您输入的网站不允许爬行,因为robots.txt”。 还有其他三种类型的预防,我得到了相应的代码和处理,但只有这个异常(即通过robots.txt预防),我无法处理。因此,请让我知道是否有任何方法来处理这一情况,并显示适当的错误信息。 我正在使用Python3.5.2和Scrapy1.5
浏览 0
提问于2018-05-29
得票数 1
回答已采纳
2
回答
当我有一个robots.txt时,我应该删除元机器人(索引,跟随)吗?
、
、
如果我想让搜索引擎遵循我的robots.txt规则,是否应该删除机器人元标签,我有点困惑。 如果页面上存在机器人元标记(索引,如下所示),那么搜索引擎会忽略我的robots.txt文件并在我的robots.txt中索引指定的不允许的URL吗? 我之所以问这个问题,是因为搜索引擎(主要是谷歌)仍然在我的网站上索引不允许的页面。
浏览 1
提问于2014-08-24
得票数 0
回答已采纳
2
回答
排除一个子域,使其不被Robots.txt爬网
、
、
、
我们有一个Umbraco网站,其中有几个子域,我们想排除他们中的一个从搜索引擎爬行到现在。我试图更改我的Robots.txt文件,但似乎我做得不对。 网址: 子域名: 我的Robots.txt内容如下: User-agent: * Disallow: sub1.* 我错过了什么?
浏览 13
提问于2014-03-07
得票数 0
1
回答
如何使用robots.txt排除爬虫来索引我网站的某些页面?
我在我的根robots.txt上尝试了这个 User-agent: * Allow: / Disallow: /*&action=surprise Sitemap: https://example.com/sitemap.php 我想从爬网urls中排除如下内容: https://example.com/track&id=13&action=surprise&autoplay 从access.log文件中,我再次看到一些机器人点击这些urls。 我是不是做错了什么,或者只是一些机器人没有遵循我的robots.txt设置?
浏览 4
提问于2017-08-25
得票数 0
1
回答
在购买旧域名时,我应该检查哪些内容,以减少购买历史不良的域名的风险?
、
、
我将直接从它的所有者购买一个.com域名。 域名已有20年的历史了。 域名不用于任何特别的东西,只是一些广告在它上。 无法跟踪反向链接,因为看起来像robots.txt块爬行。 域名不在电子邮件黑名单上。 我还应该检查什么,询问所有者,以减少购买有不良历史的域名的风险,SEO等?
浏览 0
提问于2019-11-05
得票数 4
2
回答
需要使用我当前的htaccess重定向至HTTPS
、
我想将HTTP和www重定向到https://example.com。 我尝试使用: # force HTTPS and www. RewriteEngine On RewriteCond %{HTTP_HOST} (?!^www\.)^(.+)$ [OR] RewriteCond %{HTTPS} off RewriteRule ^ https://www.%1%{REQUEST_URI} [R=301,L] 但结果只有https://www. --域名消失了! 我当前的.htaccess <IfModule mod_rewrite.c> # REWRITE ENGINE CON
浏览 1
提问于2019-07-30
得票数 1
1
回答
RewriteRule意义
、
、
下面这一行是什么意思?它是做什么的?我知道在RewriteCond中,它被用来阻止用户代理的访问。我猜它是否允许代理访问robots.txt,但如果它试图访问其他所有内容,则会阻塞? RewriteRule !^robots\.txt$ - [F]
浏览 0
提问于2014-09-30
得票数 1
回答已采纳
6
回答
有没有办法告诉机器人不要看目录?
我有一个满是图像的目录,我不想被机器人看到,有没有办法让这个目录成为私有目录? 谢谢!
浏览 0
提问于2009-07-22
得票数 3
回答已采纳
1
回答
阻止主域中的搜索引擎,同时允许附加域进行良好的排序。
、
、
、
、
我有一个与主域名和许多附加域名共享主机帐户。我实际上不使用主域名,它只是有一个登陆页面。 我可以告诉机器人不要索引主域而不影响我的附加域的SEO? 如果是这样的话,我该如何告诉机器人忽略整个域呢?
浏览 0
提问于2013-03-28
得票数 1
1
回答
Robots.txt http://example.com vs.#en0#:// www.example.com
、
我有一个情况,我们有两个代码库,需要保持不变。 示例:http://example.com。 和一个新的站点http://www.example.com。 旧站点(无WWW)支持一些遗留代码,并具有以下规则: User-agent: * Disallow: / 但在新版本中(带WWW)没有robots.txt。 谷歌是否正在把旧的(没有WWW的) robots.txt文件作为它的规则?并将添加 User-agent: * Allow: / 到(WWW)端覆盖这个吗? 在旧的代码库中更改robots.txt on目前不是一个选项。
浏览 0
提问于2009-11-25
得票数 0
1
回答
带有多重域sitemap条目的Robots.txt
、
、
、
、
我们的网站有许多域名,如: example.co.uk example.in example.co.eg ... 因此,在robots.txt中应该有一个条目,显示站点地图文件的位置。 ,所以我的问题是: 每个域都有许多站点地图文件,那么如何在单个robots.txt文件中分别为每个域放置这些条目呢?
浏览 0
提问于2018-06-29
得票数 0
回答已采纳
1
回答
谷歌忽略新的robots.txt文件-不会在SERP中显示信息
、
我在运行一个丹麦航班搜索引擎。我之前设置了一个有缺陷的robots.txt文件,最终删除了我网站大部分内容的标题标签和描述。 现在,我已经将robots.txt修复为: # Robots file for www.billigeflybilletter.dk User-Agent: * Disallow: /wp-admin/ Disallow: /hoteller Allow: /wp-admin/admin-ajax.php Allow: /flyforsinkelse/ 然而,非常重要的页面https://www.billigeflybilletter.dk/flyforsinkelse
浏览 0
提问于2016-11-07
得票数 0
1
回答
带有@@的robots.txt URL模式
我想不允许/book-search,目前在robots.txt中有一条规则如下: Disallow: /@@book-search* 当我尝试使用Webmasters工具robots.txt测试器时,它说/book-search仍然是被允许的。 是因为@@吗?@@的含义是什么?
浏览 1
提问于2015-01-29
得票数 0
回答已采纳
1
回答
只允许Googlebot索引所有内容
、
、
我想禁止所有机器人爬行和索引网站。除了谷歌机器人。我希望允许google对索引(/) URL进行索引,但不允许其他内容。最好是在robots.txt中。 你对如何实现这一点有什么想法吗?谢谢!
浏览 11
提问于2019-11-29
得票数 1
1
回答
robots.txt的重写器规则
、
我有一个类似domain.com/view/nextdomain.com的站点,我有一些机器人试图访问domain.com/view/nextdomain.com/robots.txt,我希望所有的机器人都访问domain.com/robots.txt。 我不知道为什么这个不能工作: RewriteEngine on RewriteRule ^view/(.*)$/robots.txt robots.txt
浏览 0
提问于2016-05-22
得票数 1
1
回答
如何使用ApacheNutch2.2.1绕过robots.txt
、
、
、
有谁能告诉我apache在爬行时是否有任何方法可以忽略或绕过robots.txt。我用的是nutch 2.2.1。我发现"RobotRulesParser.java"(full RobotRulesParser.java RobotRulesParser.java)负责读取和解析robots.txt。有没有办法修改这个文件以忽略robots.txt并继续爬行? 或者还有其他方法来实现同样的目标?
浏览 4
提问于2014-06-05
得票数 0
回答已采纳
1
回答
Google索引Cloudfront发行版
、
、
我有一个通过云前端的静态站点,通过路由53具有S3源和自定义域名。除了Google还索引了Cloudfront分发url (d123etc.cloudfront.net)和我的自定义域名之外,一切都运行得很好,这导致了重复内容问题。 我已经尝试了规范的urls,但分布仍然是索引的。有人建议根据使用的域提供不同的robots.txt,这听起来很好,但没有.htaccess或web服务器,将其留给Lambda Edge函数来尝试发送不同的robots.txt。 问题是,我无法在函数中找到如何确定请求是来自自定义域还是来自直接分发url。我尝试过将源文件列入白名单,但在使用S3源文件时无法发送。我还
浏览 21
提问于2020-02-08
得票数 2
4
回答
如何禁止来自robots.txt的特定页面
我正在我的网站上创建两个页面,它们非常相似,但服务于不同的目的。一是感谢用户留言,二是鼓励用户订阅。 我不想重复的内容,但我确实希望页面是可用的。我可以将站点地图设置为隐藏一个吗?我会在robots.txt文件中这样做吗? 不允许如下所示: 禁止: /wp-admin 我如何定制到特定的页面,如:
浏览 0
提问于2010-08-15
得票数 33
2
回答
Robots.txt并没有阻止我的网站被爬行
、
、
我对robots.txt有意见。我把robots.txt文件放在了网站的主目录中(也在/var/www/html中--为了让它在所有服务器上工作),但是机器人仍然在我的网站上爬行。 这是我的robots.txt: User-agent: YandexBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: SemrushBot/1.2~bl Disallow: / 你有什么意见建议?
浏览 0
提问于2017-12-06
得票数 1
1
回答
无头浏览器必须注意robots.txt吗?
、
我想写一个尊重robots.txt的爬虫。不幸的是,无头浏览器似乎不支持robots.txt。我曾与PhantomJS的人讨论过,我得到了答案: PhantomJS是浏览器,而不是爬虫,如果您从脚本中使用它,脚本负责尊重robots.txt。 这是正确的吗?我认为必须尊重每个http请求的robots.txt,而不仅仅是主urls。 那么,仅仅检查robots.txt中的主url就足够了吗?
浏览 2
提问于2013-10-22
得票数 0
回答已采纳
2
回答
robots.txt文件应该在哪里?
如果我有一个子域: 重定向到subdir.a.com的a.com/myfolder/ 如果robots.txt文件位于: subdir.a.com/robots.txt 或 a.com/myfolder/robots.txt
浏览 0
提问于2011-08-25
得票数 1
回答已采纳
2
回答
数千个试图爬行旧多站点的机器人的robots.txt 404错误
、
、
、
当前的情况是,由于域重定向,我们在站点的不同位置从机器人那里得到了成千上万的404个错误。 我们以前的网站是一个迷宫式的多站点,由多个域名的dotnetnuke提供动力。我们已经改变到一个网站上的Wordpress与一个域名。剩下的域名现在只是重定向到网站上的类别。这就意味着googlebot、bingbot和许多其他人反复尝试索引那些曾经是成熟站点的域,并被重定向。 www.EXAMPLE.co.uk重定向到www.EXAMPLE.co.uk/挑战性/ 因此/挑战性/robots.txt拥有超过1000台404 与其他重定向相同,这些重定向在/walktoschool/robots.txt等
浏览 0
提问于2014-02-12
得票数 1
回答已采纳
1
回答
谷歌说: robots.txt对子域名无效吗?
、
、
、
、
我对谷歌的robots.txt文档很困惑 有效的robots.txt URL示例: http://other.example.com/ https://example.com/ http://example.com:8181/无效 它说robots.txt对子域无效。对吗?如果是,如果我们与主域有不同的内容怎么办?
浏览 0
提问于2014-02-26
得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Degen ENS子域名已上线
SEO实操方法之网站结构优化,你知道404和301吗?
Subfinder:一个子域名发现工具,可以为任何目标枚举海量的有效子域名
Degen:Degen ENS子域名现已上线
二级域名收录难,那么如何快速收录?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券