腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(4258)
视频
沙龙
1
回答
"
Disallow
: /test/programmming“还是"
Disallow
: /programming"?
我在WordPress下管理一个网站。我们不得不将网站的网址改为example.com/test。因此,我现在在搜索控制台中有两个属性:一个是根域(example.com)。另一个包含子目录(example.com/test)。在robots.txt中,我喜欢禁止某些URL,比如example.com/test/programming。 我应该禁止:/programming还是不允许:/test/programmming
浏览 0
提问于2019-03-06
得票数 0
2
回答
JSoup去除身体中的断线
、
、
Disallow
: /hashtag/
Disallow
: /l.php
Disallow
: /live/
Disallow
: /moments_app/
Disallow
: /p.php
Disallow
Disallow
: /hashtag/
Disallow
: /l.php
Disallow
: /live
浏览 1
提问于2018-02-07
得票数 0
回答已采纳
3
回答
Robot文本,wordpress - block目录
、
User-agent: *
Disallow
: /cgi
Disallow
: /lo/
Disallow
/wp-content/blogs.dir
Disallow
: /tag
Disallow
:
浏览 1
提问于2010-08-26
得票数 0
回答已采纳
1
回答
缺少User-agent指令!找到允许-这是什么意思?
、
: /404/
Disallow
: /cgi-bin/
Disallow
: /includes/
Disallow
: /lib/
Disallow
:
浏览 0
提问于2012-10-17
得票数 2
1
回答
不同类型的机器人为什么在网站上使用?
、
Disallow
:
Disallow
:
Disallow
:
Disallow
: naver
Disallow
:
Disallow
: Use
浏览 5
提问于2015-04-15
得票数 0
回答已采纳
1
回答
谷歌网站管理员工具“在你的网站上发现严重的健康问题”
、
、
: /404/
Disallow
: /cgi-bin/
Disallow
: /errors/
Disallow
: /js/
Disallow
:
浏览 1
提问于2014-04-27
得票数 0
2
回答
禁止在wordpress机器人上使用/feed和/trackback,但谷歌仍在索引
、
、
、
问候User-agent: *
Disallow
: /wp-admin
Disallow
/
Disallow
: /?ref=
Disallow
: /comments/feed
浏览 2
提问于2013-03-29
得票数 2
1
回答
阻挡坏机器人
、
、
、
Disallow
:/
Disallow
:/
Disallow
:/User-agent: BunnySlippersUser-agent: CegbfeiehUser-agent: CheeseBot
Di
浏览 0
提问于2013-04-17
得票数 1
回答已采纳
1
回答
Noindex BuddyPress成员目录子页面
、
、
BuddyPress成员目录分为多个子页,例如example.com/members/?upage=3
浏览 0
提问于2013-11-05
得票数 1
1
回答
SE机器人不会从sitemap.xml中索引页面
、
、
、
、
orderby=
Disallow
: /*?tag=
Disallow
: /*?n=
Disallow
: /*&orderway=
Disallow
: /*&id_c
浏览 3
提问于2019-12-03
得票数 0
回答已采纳
1
回答
解析允许和不允许的robots.txt文件部分
、
、
/logout
Disallow
: /mcd
Disallow
: /n/
Disallow
: /anan
Disallow</
浏览 0
提问于2020-03-22
得票数 2
回答已采纳
1
回答
Robots.txt屏蔽除谷歌和合作伙伴之外的所有内容
、
、
twitterbot能够访问我的站点这是我的txt
Disallow
: /administrator
Disallow
: /administrator User-agent: Mediap
浏览 2
提问于2020-03-12
得票数 1
1
回答
关于Opencart robots.txt的建议
、
、
User-agent: *
Disallow
: /*&limit
Disallow
: /*?route=account/
Disallow
: /*?
浏览 8
提问于2020-07-03
得票数 1
1
回答
如何告诉搜索引擎使用我更新的robots.txt文件?
、
these directories, url types & file-types
Disallow
: /wp-admin/
Disallow
: /wp-includes/
Disallow
: /wp-
Disallow
:
浏览 27
提问于2019-03-24
得票数 2
回答已采纳
1
回答
使用Sphider搜索引擎和robots.txt
、
/
Disallow
: /css/
Disallow
: /Library/
Disallow
Disallow
: /comexp/routes/142/142_sked_all.php
Disall
浏览 3
提问于2011-11-24
得票数 1
回答已采纳
1
回答
Google搜索控制台不接受Bigcommerce站点地图
、
、
Bigcommerce提供了以下站点地图链接: User-agent: *
Disallow
: /cart.php
Disallow
: /checkout.php
Disallow
: /finishorder.php
Disallow
:
浏览 8
提问于2019-10-01
得票数 0
2
回答
Joomla robots.txt
、
我的Joomla根目录中有一个robots.txt,上面写着:
Disallow
: /administrator/
Disallow
: /cli/
Disallow
: /images/
Disallow
浏览 5
提问于2014-08-11
得票数 0
回答已采纳
1
回答
一个“不允许/”的robots.txt文件会停止我网站的所有爬行吗?
、
Disallow
: /profiles/
Disallow
: /themes/
Disallow
: /CHANGELOG.txt
Disallow
: /INSTALL.mysql.txt
Disallow</em
浏览 2
提问于2014-05-15
得票数 1
1
回答
使用casperjs检索远程txt文件的内容,无需html标记
、
、
User-agent: Mediapartners-Google*
Disallow
: /bulletin
Disallow
: /forgot
Disallow
: /get_video_info
Disallow
: /re
浏览 0
提问于2014-02-14
得票数 0
回答已采纳
1
回答
Google是否检测到Wordpress插件目录中的文件?
、
谷歌会检测到Wordpress插件目录中的文件吗?/wp-content/plugins/random-image-gallery-with-fancy-zoom/js/ 我在文件夹和目录中放置了空index.php,在HTML中放置了一个meta。这会阻止谷歌为其建立索引吗?
浏览 0
提问于2014-06-04
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
ROBOTS怎么写?ROBOTS禁止收录写法、详细说明
爬虫冷知识:robot
robots优化WordPress和dedecms织梦网站
SEO优化:如何正确设置robots.txt协议文件?
robots.txt文件原理、规则和写法
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券