请选择 进入手机版 | 继续访问电脑版

[SEO技术] robots协议的全面剖析 99-32

创建: flbcyybxfq 发布:2018-8-8 16:35
1698498 次浏览 199 位用户参与讨论

测式内容或者付费的是不参与网站排名的
网站和搜索引擎的协议
robots.txt指定那些内容是不让蜘蛛抓取的
什么是robots.txt协议
1·网站和搜索引擎的协议文件
2·蜘蛛到网站上第一个访问文件
写robots.txt文件首先要对自己网站的内容了解,哪些内容可以抓取
哪些内容不可以抓取。
《2》·robots.txt语法
1·三个单词
User-agent《用户代理》可以理解为针对谁
file:///C:/Users/Administrator/AppData/Local/YNote/data/18878265862@163.com/a3f705fda4af4c91b2c57df01db9310e/yy%E5%9B%BE%E7%89%8720170824205213.jpg

Allow《允许的意思》有个斜杠是表示目录级,这个是所有文件
都允许蜘蛛抓取的意思。

Disallow《不允许的意思》星号*匹配0个或者若干个字符
匹配所有的搜索引擎
Disallow:斜扛,拒绝
Allow大于Disallow有个优先级,Allow优先执行
星号在前面和在后面都是一样的匹配的
$美元符号,是放到文件的后面的,他是匹配文件类型的
匹配所有的文件类型txt之类的
?号是屏蔽掉所有的动态路径
要不要带/比如文件夹里面有很多个文件都被屏蔽掉了/
/abc是个不完整的
列如/abc

注意
细节英文状态下符号
空格
字母大小写,首字母要大写
生效时间,几天或者两个月内
不要随便屏蔽整站,可能会导致网站两个月没有收录
网站刚刚上线也不要屏蔽,可能会导致网站近期没有收录

需要屏蔽的内容
1·JS
路径统一
后台
不需要的都可以屏蔽掉
如果是织梦的话,就直接用织梦只带的robors
如果是WP是动态路径就不要用robors去屏蔽动态路径
WP博客路径做了伪静态可以屏蔽掉动态路径


我知道答案 本帖寻求最佳答案回答被采纳后将获得系统奖励10 T币 , 目前已有200人回答





上一篇:99-43 robots 的使用要注意哪些细节
下一篇:99-65 8月21日作业题目:发布外链和交换友链要注意什么?
参与讨论的有 200 人
LZ帖子不给力,勉强给回复下吧
榕6737 2018-8-17 21:25:07 显示全部楼层
啥玩应呀
边撸边过
汤6667 2018-8-22 20:05:10 显示全部楼层
为保住菊花,这个一定得回复!
贺6372 2018-8-27 05:41:17 显示全部楼层
鄙视楼下的顶帖没我快,哈哈
亢5187 2018-9-4 00:29:17 显示全部楼层
支持,赞一个
LZ是天才,坚定完毕
我也顶起出售广告位
焦3998 2018-9-13 13:01:46 显示全部楼层
支持楼主,用户楼主,楼主英明呀!!!
添加一条新回复

本版积分规则

hi,欢迎来到站长之家论坛

赞助伙伴
返回顶部