我有一个申请，如果正面与Azure前门。我需要向域的根添加一个robots.txt，并且不能在应用程序中托管它。
我希望将robots.txt添加到一个存储blob /机器人/robots.txt中，并为/robots.txt设置一个新的路由，以及//robots.txt/robots.txt的起源，但在后端显示为/Robots.txt/robots.txt。
如何设置原始路径以找到正确的文件？
浏览 1提问于2022-06-29得票数 1
1回答
映射不存在的文件
、、
如果robots.txt不存在，则它将在robots.php上进行清理，但如果存在-return robots.txt，则会将其清除
RewriteEngine on
RewriteCond %{robots.txt} !-f [NC]
RewriteRule robots.txt robots.php [L]
此代码始终返回robots.php
浏览 2提问于2011-04-30得票数 0
回答已采纳
我在我的Ubuntu上创建了一个“全局”robots.txt文件，并将它定位在
/home/robots.txt
然后，在/etc/apache2/apache.conf中，在底部添加了以下内容：
Alias /robots.txt /home/robots.txt
重新启动阿帕奇。
然而，当我试图访问myvirtualhost.com/robots.txt时，我得到了403禁止。
/home/robots.txt属于'root‘和chmod 755 (测试为777也是错误)。
如果我将Alias /robots.txt /home/robots.txt更改为Alias /robots
浏览 0提问于2014-06-16得票数 1
回答已采纳
我正在尝试下载robots.txt文件的内容
我最初的问题链接：
这是第22行：$f = fopen($file, 'r');
我得到了这个错误：
PHP Error[2]: fopen(http://www1.macys.com/robots.txt): failed to open stream: Redirection limit reached, aborting
in file /host/chapache/host/apache/www/home/flaviuspogacian/proiecte/Mickey_ClosetAffair_Discovery/w
浏览 2提问于2012-08-15得票数 0
回答已采纳
我需要将我的robots.txt从http重定向到https in .htaccess
http://ekb.example.com/robots.txt to https://ekb.example.com/robots.txt
http://spb.example.com/robots.txt to https://ekb.example.com/robots.txt
我试过：
RewriteCond %{HTTP_HOST} ^ekb\.example\.com
RewriteRule ^robots.txt$ https://example.com/robots.txt [R=301
浏览 3提问于2021-10-12得票数 0
我试图根据服务器的域重写一个文件名。
下面的代码是错误的/不起作用的，但说明了所期望的效果。
<If "req('Host') != '*.mydevserver.com'">
RewriteRule "^/robots\.txt$" "robots-staging.txt" [R]
</If>
期望的效果是，此htaccess将指向不同的robots.txt，这取决于它是否处于暂存(通配符子域)。
示例用法：
http://client1.devsite.com/robots.
浏览 0提问于2017-11-18得票数 2
我创建了两个独立的robot.txt文件：robots.txt和disabled-robots.txt
我在nginx配置中有一个带有别名的服务器块。我想要达到的目标是：
=> robots.txt /robots.txt
v2.example.com/robots.txt禁用=> -robots.txt
server {
listen 443 ssl http2;
listen [::]:443 ssl http2;
server_name v2.example.com example.com;
location = /robot
浏览 6提问于2022-11-02得票数 1
回答已采纳
1回答
有什么方法可以减少这些行吗？
RewriteCond %{HTTP_HOST} =subtest1.test.de
RewriteRule ^robots\.txt$ /robots_testing.txt [L]
RewriteCond %{HTTP_HOST} =subtest2.test.de
RewriteRule ^robots\.txt$ /robots_testing.txt [L]
RewriteCond %{HTTP_HOST} =subtest3.test.de
RewriteRule ^robots\.txt$ /robots_testing.txt [L]
我希望所有的
浏览 0提问于2016-11-15得票数 0
我正在动态地创建robots.txt，而不是创建物理robots.txt文件。我是从CMS和系统是附加一个正斜杠的每一页。在robots.txt的例子中，我编写了.htaccess代码，以便从mysite.com/robots.txt重定向到mysite.com/robots.txt/。
以这种方式进入robots.txt会有什么问题吗？
浏览 0提问于2014-04-25得票数 1
我在nginx中使用CentOS7。为此我需要动态robots.txt，我尝试使用从robots.txt到robots.php的重定向。但是如果是site.com/robots.txt，我会看到robots.php文件中的文本，如果是site.com/robots.php，我会看到运行这个程序的结果。我如何修复site.com/robots.txt给我运行robots.php的结果？在nginx中，我使用下一段代码：
location /robots.txt { alias /home/xxx/web/site.ru/public_html/robots.php; }
浏览 18提问于2021-02-26得票数 0
我们在IIS服务Azure网站的根目录中有一个自定义robots.txt，在导航到www.oursite.com/robots.txt时不能正确显示。显示一个“不同”的robots.txt文件，其中包含：
User-agent: LinkChecker
Allow: /
User-agent: *
Disallow: /
我们试过：
删除根中的robots.txt文件--不正确的robots.txt文件仍然显示。
向web.config添加url-重写规则以显示自定义robots.txt -更正的robots.txt将显示一段时间，然后恢复为不同的规则。
你知道我们的定制r
浏览 0提问于2015-10-13得票数 1
日志文件中的一个条目如下所示。
174.71.76.52 - - [01/Dec/2016:17:22:34 -0600] "GET /~csymons/project/css/normalize.css HTTP/1.1" 304 -
我的问题是从文件中提取一个唯一的用户列表(在本例中，其中一个是~csymons)。
我一直在使用这个命令来获取用户列表，这些用户的列表就在" get“之后。但是，如果请求作为"/“之后返回，那么它将不会作为用户记录。
到目前为止，我一直在使用这个命令，但是很难将其建模以符合标准。
cat logfile | awk '
浏览 4提问于2020-08-07得票数 0
有办法重写robots.txt的路径/文件名吗？
在我的docroot中，我放置了robots.txt和robots_ssl.txt。现在，我想“重定向”的机器人，取决于他实际访问的网站。我在我的.htaccess中制定了一个规则，内容如下：
RewriteCond %{SERVER_PORT} ^443$
RewriteRule ^robots\.txt$ robots_ssl.txt [L]
为了了解差异，我在这两个文件的顶部添加了一个注释。当我调用时，它应该显示一个带有注释的txt文件：
https的robots.txt
否则，如果是http：
robots.txt用于http
有什么办
浏览 0提问于2015-01-14得票数 1
回答已采纳
异常类型: /robots.txt的TypeError
异常值：'str‘对象不可调用
怎么回事？
视图：
ROBOTS_PATH = os.path.join(CURRENT_PATH, 'robots.txt')
def robots(request):
""" view for robots.txt file """
return HttpResponse(open(ROBOTS_PATH).read(), 'text/plain')
设置：
CURRENT_PATH = os.path.absp
浏览 1提问于2010-09-04得票数 1
回答已采纳
我有一个不是静态的，而是动态生成的robots.txt。我的问题是创建一个从root/robots.txt到我的控制器操作的路由。
这个工作
routes.MapRoute(
name: "Robots",
url: "robots",
defaults: new { controller = "Home", action = "Robots" });
这个不工作，
routes.MapRoute(
name: "Robots",
url: "robots.txt", /* this is the
浏览 0提问于2013-06-18得票数 9
1回答
我使用.htaccess：
RewriteEngine On
RewriteRule phpMyAdmin/(.*)$ phpMyAdmin/$1 [L]
RewriteRule img/(.*)$ img/$1 [L]
RewriteRule css/(.*)$ css/$1 [L]
RewriteRule js/(.*)$ js/$1 [L]
RewriteRule robots.txt$ robots.txt$1 [L] ????
RewriteRule .* index.php
允许读取robots.txt很麻烦，它只读取robots.txt，而不是像robots.txtasdfa，r
浏览 1提问于2013-07-04得票数 0
回答已采纳
1回答
我们正在尝试使用genesis框架在wordpress中实现CDN77，并希望为CDN提供不同的robots.txt。我们使用了以下代码
RewriteEngine On
RewriteCond %{HTTP:VIA} !^.*\.rsc.cdn77.org$
RewriteRule ^robots\.txt$ robots_cdn77.txt [L]
我们的网站是，我们为添加了CND CNAME
我们面临的问题是，我们的主robots.txt与CDN网站的robots.txt一起被重写了。对于上述链接，这两个robots.txt变得相同。和都提供相同的资源。
我如何更改重写规则，使每个链接
浏览 2提问于2015-06-25得票数 1
我可以在这里看到robots.txt文件：
http://persian.cc/robots.txt
但谷歌不行！
我知道我可以在网站的根部找到robots.txt文件，但是在我的网站中没有robots.txt文件，这个robots.txt是由WordPress创建的虚拟文件。现在如何阻止wordpress这样做呢？
或者，如果我无法阻止wordpress显示虚拟robots.txt文件，我如何才能停止谷歌在我的网站上寻找它？也许是.htaccess代码什么的？
浏览 0提问于2013-01-02得票数 2
我使用robots.txt文件来防止爬虫抓取特定的页面。当我想要阻止在/folder/myfolder/中爬行myfolder中的所有内容时，我可以将robots.txt放在/folder/myfolder/robots.txt中并写道：
User-agent: *
Disallow: /
或者我必须将robots.txt放在/robots.txt中并设置：
User-agent: *
Disallow: /folder/myfolder/
谁知道呢？
浏览 3提问于2016-12-03得票数 1
1回答
我想为一个给定的URL提供两个不同版本的文件，取决于站点子域。
我现在想做的是：
location /robots.txt {
if ($http_host ~* [www|fr|es|uk|de]\.example\.com) {
rewrite ^/robots.txt$ /robots_index_all.txt break;
}
rewrite ^/robots.txt$ /robots_dont_index_anything.txt break;
}
因此，当bot在子域www、fr、es、uk和de下请求robots_index_all.txt时，我想
浏览 3提问于2013-12-09得票数 0
回答已采纳
我将所有内容重定向到我的app.yaml中的一个文件，如下所示
- url: /.*
script: frontcontroller.application
但我仍然必须使用robots.txt，这样做会导致错误
- url: /robots.txt
static_files: robots.txt
- url: /.*
script: frontcontroller.application
错误是upload的“robots.txt”属性丢失了，我知道它需要第三个选项，如下所示
- url: robots.txt
static_files: robots.txt
upl
浏览 0提问于2013-04-16得票数 3
回答已采纳
我用谷歌站长验证了我的网站。我已经在姜戈建立了我的网站，我还添加了robots.txt。现在谷歌显示了绿色的标记，我认为它在域名系统和服务器连接上是好的，但在robots.txt fetch上显示红色的警告标记。
我的robots.txt看起来像
User-agent: *
Disallow:
谷歌需要时间来抓取网站吗？或者我的robots.txt或其设置有错误。
当我从像mysite.com/robots.txt这样的站点打开robots.txt时，我可以看到robots.txt文件。
另外，当我在站长中运行robots.txt测试时，它给出了允许的结果。我的网站甚至没有被谷歌搜索到..
但
浏览 0提问于2015-02-10得票数 1
我有这样的结构：
root
-web
-- .htaccess
-- index.html
-- robots.txt
-.htaccess
我的文档根目录是根 dir。/root/..htaccess的内容如下：
<IfModule mod_rewrite.c>
Options -MultiViews
RewriteEngine on
RewriteRule ^$ web/ [L]
RewriteRule (.*) web/$1 [L]
</IfModule>
现在，请求/robots.txt和/web/robots
浏览 2提问于2015-03-05得票数 1
回答已采纳
我正在开发一个asp.net mvc应用程序。我正在为我的应用程序创建robots.txt，以防止出现机器人，因为我当前的站点收到了许多机器人请求。所以我找到了这个链接，来创建robots.txt。但是当我像这样访问我的应用程序时，输入url，"www.domain.com/robots.txt"，它总是返回404页。
这是我在HomeController中的动作方法
public ActionResult Robots()
{
Response.ContentType = "text/plain";
return View();
}
这是我的机
浏览 2提问于2016-08-07得票数 8
回答已采纳
问题是，我可以在这里看到robots.txt文件：
(请在域名后面加上/robots.txt )
但是谷歌不能！
我知道我可以在网站的根目录下找到robots.txt文件，但是嘿，我的里面没有robots.txt文件，这个robots.txt是由WordPress制作的虚拟文件。现在如何阻止wordpress这样做呢？！
或者，如果我不能阻止wordpress显示那个虚拟的robots.txt文件，我怎么能停止谷歌在我的网站上寻找它呢？也许是.htaccess代码或者别的什么？
谢谢
浏览 9提问于2013-01-02得票数 1
我使用codeigniter和位于根目录下的robots.txt文件，但它只能从主域访问。搜索试图从子域访问它的机器人(我将其用于区域设置)：示例：
my.com/robots.txt - OK
en.my.com/robots.txt - FAIL
如何从xx.my.com/robots.txt重定向到my.com/robots.txt？谢谢。
浏览 1提问于2013-08-18得票数 0
2回答
我想阅读robots.txt文件(www.abc d.com/robots.txt)的文本，其中包含来自我的C#应用程序的sitemap。如果robots.txt文件中有sitemap，我必须使用if来生成警报，然后它将显示是，并且它不包含sitemap，那么它将显示no。
Robots.txt文件文本如下所示：
# Crawlers Setup
User-agent: *
Disallow:
Crawl-delay: 10
# Website Sitemap
Sitemap: http://www.abcd.com/sitemap.xml
如何从robots.txt文件中读取这个站点地图文
浏览 4提问于2013-09-16得票数 1
回答已采纳
4回答
robots.txt应该放在哪里？
domainname.com/robots.txt
或
domainname/public_html/robots.txt
我将文件放在domainname.com/robots.txt中，但当我在浏览器中键入此文件时，它无法打开。
浏览 3提问于2010-06-06得票数 7
回答已采纳
我使用多安装我的网页与两个不同的域名，我需要为每个域名一个唯一的robots.txt 像https://www.domain1.tdl/robots.txt应该使用https://www.domain1.tdl/robots_domain1.txt 和 https://www.domain2.tdl/robots.txt应使用https://www.domain2.tdl/robots_domain2.txt
浏览 13提问于2019-05-22得票数 0
我看到了，但它已经过时了。我尝试了以下几点：
创建了src/main/resources/static/robots.txt。
@Configuration
public class WebConfig extends WebMvcConfigurerAdapter{
@Override
public void addResourceHandlers(ResourceHandlerRegistry registry) {
// registry.addResourceHandler("/robots.txt").addResourceLocati
浏览 0提问于2018-05-03得票数 2
回答已采纳
Google已经对robots.txt进行了索引，现在如果有人搜索'txt‘，它会返回robots.txt文件，这确实不理想(因为这是一个沼泽标准的robots.txt站点，字符串D2实际上出现在文本中)。我怎么才能避免这种情况？谷歌中是否有设置，或者我应该将/robots.txt添加到呃、robots.txt或.中？
浏览 0提问于2018-09-06得票数 5
回答已采纳
1回答
国防部重写L旗不停止
、、、
为何：
http://example.com/robots.txt
重定向至：
http://www.example.com/mvc/view/robots/live-robots.txt
根据这些规则：
RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_HOST} ^(www\.)?example\.com
RewriteRule ^robots.txt /mvc/view/robots/live-robots.txt [L]
#.... 20 irrelevant lines for mobile rewrites
# Force the
浏览 0提问于2016-03-29得票数 1
回答已采纳
2回答
根据我的服务器是生产服务器还是开发服务器，我想使用不同的robots.txt文件。
为此，我希望在urls.py中以不同的方式路由请求
urlpatterns = patterns('',
// usual patterns here
)
if settings.IS_PRODUCTION:
urlpatterns.append((r'^robots\.txt$', direct_to_template, {'template': 'robots_production.txt', 'mimetype'
浏览 1提问于2013-06-14得票数 5
回答已采纳
对于MSBuild来说有点新。我有一个用于robots.txt的文件夹，它使用configuration将其中一个文件复制到项目的根文件夹。这正如期而至。但是，当我想要运行Debug时，它找不到文件，b/c显然我不需要一个来调试。与其添加这个虚拟文件，不如将它排除在构建过程中，如果configuration是列出的一个或另一个，如下所示：
<Target Name="AfterBuild">
<Copy SourceFiles="Web.temp.config" DestinationFiles="Web.config
浏览 4提问于2016-07-22得票数 0
回答已采纳
我在NGINX后面运行Kibana，我想添加一个robots.txt。我将robots.txt添加到/var/www/example.com，但无论我怎么尝试，当我访问example.com/robots.txt时，它都会重定向到Kibana。 server {
server_name example.com www.example.com;
location = /robots.txt {
root /var/www/example.com/;
}
location / {
if ($request_uri ~* "^/robots.txt
浏览 20提问于2019-09-09得票数 1
回答已采纳
我有一个robots'txt文件，我只想包含在我的开发版本中。
如何设置angular.json，使ng build --prod不包含robots.txt而ng build包含？
理想情况下，我希望从配置prod扩展并添加robots.txt，如下所示：
// ...
{
"dev": {
"assets": [
"extend_here",
"src/robots.txt"
]
}
}
谢谢
浏览 0提问于2020-09-02得票数 0
我们最近升级到Drupal9.3.0和composer布局。每次执行composer update时，robots.txt的内容都会被覆盖到位于core/assets/scaffold/files/robots.txt中的文件中。我们希望用项目唯一的数据来附加默认的robots.txt。
我在composer.json中包括了我找到的文档中的以下内容：
"extra": {
"drupal-scaffold": {
"locations": {
"web-ro
浏览 0提问于2022-01-15得票数 3
回答已采纳
我试图在nginx服务器下为所有虚拟主机设置robots.txt。通过在主httpd.conf中放置以下内容，我能够在Apache中做到这一点：
<Location "/robots.txt">
SetHandler None
</Location>
Alias /robots.txt /var/www/html/robots.txt
我尝试在nginx上做类似的事情，在nginx.conf和(b)中添加如下(a)行，包括conf.d.d/robots.conf
location ^~ /robots.txt {
alias /v
浏览 0提问于2013-10-29得票数 28
回答已采纳
在我看来，这是不明智的。
例如，检查以下内容：
http://edition.cnn.com/robots.txt
http://www.bbc.co.uk/robots.txt
http://www.guardian.co.uk/robots.txt
根据这一点：
http://www.joomla.org/robots.txt
Joomla.org未更改默认管理文件夹:D
例如，prestashp页面有一个空白的robots.txt文件，这并不完美，但至少在我看来更好：
http://www.prestashop.com/robots.txt
这些人是愚蠢的，还是他们认为知道他们的web结
浏览 2提问于2012-07-05得票数 0
这是我的RouteConfig文件：
public static void RegisterRoutes(RouteCollection routes)
{
routes.IgnoreRoute("{resource}.axd/{*pathInfo}");
routes.MapRoute("Robots.txt",
"robots.txt",
new { controller = "Home", action = "Robots" });
routes.M
浏览 0提问于2014-11-04得票数 1
我的网站使用上下文路径(例如: www.example.com/abc)。robots.txt可以在www.example.com/abc/robots.txt上找到，我在webserver中给出了301重定向，将www.example.com/robots.txt重定向到www.example.com/abc/robots.txt。
我的问题是，搜索引擎是否能够读取robots.txt文件，因为它有301重定向？
浏览 3提问于2017-04-06得票数 0
我试图在我的Rails (3.0.10)应用程序中呈现一个动态文本文件(robots.txt)，但它继续将其呈现为HTML (控制台说)。
match 'robots.txt' => 'sites#robots'
控制器：
class SitesController < ApplicationController
respond_to :html, :js, :xml, :css, :txt
def robots
@site = Site.find_by_subdomain # blah blah
end
end
app/v
浏览 0提问于2011-11-22得票数 17
回答已采纳
看来我们很快就要开始平衡我们的网络服务器了。
我们有一个动态编辑robots.txt的特性请求--这对于一个主机来说不是问题--但是一旦我们的负载均衡器启动并运行起来--听起来我必须将文件转换到另一个主机。
这听起来非常“糟糕”。你会如何处理这种情况？
我已经让客户编辑元标签‘机器人’，这(海事组织)应该有效地做同样的事情，他想从robots.txt编辑，但我真的不知道那么多关于搜索引擎优化。
也许有一种完全不同的方法来处理这个问题？
更新
看来我们现在要把它存储在s3里，然后把它放在前端.
我们现在是怎么做的
所以我们使用merb.我将一条路由映射到我们的robots.txt，如下所示：
m
浏览 1提问于2009-10-05得票数 2
我将rails中的默认robots.txt文件替换为动态文件，这样我就可以控制机器人在我的站点上看到的内容。
我已经删除了public/robots.txt文件。在我的PagesController中，我定义了一个机器人动作
def robots
respond_to :text
render 'pages/robots.txt.erb'
expires_in 6.hours, public: true
end
在我的路线上
get '/robots.:format' => 'pages#robots'
我在pages视图目录中
浏览 0提问于2017-02-15得票数 0
这是我的robots.txt文件：
User-agent: *
Disallow: /user/
Disallow: /user/*
Disallow: /home/*
Disallow: /adminpanel/*
Disallow: /Valorant_Guess/*
Disallow: /Leagueoflegends_Guess/*
Disallow: /Rocketlegue_Guess/*
Disallow: /Csgo_Guess/*
Disallow: /Apexlegends_Guess/*
Sitemap: https://www.example.com/sitemap.
浏览 0提问于2023-03-15得票数 1
1回答
我需要将所有的robots.txt重定向到一个特定的根域url。
下面是一个例子
https://example.com/robots.txt => https://example.com/robots_handler?domain=
https://sub1.example.com/robots.txt => https://example.com/robots_handler?domain=sub1
https://sub2.example.com/robots.txt => https://example.com/robots_handler?domain=sub2
我
浏览 3提问于2018-01-06得票数 0
回答已采纳
我将robots.txt文件添加到本地web服务器的根目录中。
服务器上的robots.txt文件的url是http://localhost/myserver/robots.txt。
robots.txt文件的内容是
User-agent: *
Disallow: /
如何验证robots.txt文件是否适用于本地web服务器？
我是否需要在本地安装网络爬虫或搜索引擎，并运行它来验证这一点？
谢谢。
浏览 7提问于2017-05-04得票数 3
1回答
我找到了一个.htaccess代码，它可以为ssl响应呈现不同的robots.txt，如下所示
RewriteEngine On
RewriteCond %{HTTPS} =on
RewriteRule ^robots.txt$ robots-deny-all.txt [L]
尝试我在上面发现的东西是行不通的，我也找不到一种方法来调整它。我需要的是为非www请求呈现单独的robots.txt。例如，我希望www.example.com/robots.txt用于www请求，example.com/nonwww robots.txt用于非www请求。
我希望有一种方法我可以做到这一点，因为我找不到
浏览 1提问于2016-05-07得票数 0
回答已采纳
我刚刚开始使用nginx + uwsgi，我正在尝试如何使用别名为robots.txt提供服务。以下是我当前的配置，它不起作用：
http {
server {
location / {
include uwsgi_params;
uwsgi_pass 127.0.0.1:9090;
}
location /static {
root /Users/dave/PycharmProjects/nginx_test/static;
}
浏览 1提问于2016-03-15得票数 0
1回答
我的服务器上有robots.txt和script.php文件。我想用以下代码将所有对robots.txt的请求转移到script.php： RewriteEngine On
RewriteCond %{REQUEST_URI} ^robots.txt$
RewriteRule .* script.php [F,L] 但它不起作用。如果我从服务器上删除robots.txt -一切都很好...
浏览 10提问于2019-06-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
