请选择 进入手机版 | 继续访问电脑版
提问

robots协议的全面剖析 99-32

SEO交流问答  / SEO技术  / 倒序浏览   © 著作权归作者本人所有

#楼主# 2018-8-8

跳转到指定楼层

测式内容或者付费的是不参与网站排名的
网站和搜索引擎的协议
robots.txt指定那些内容是不让蜘蛛抓取的
什么是robots.txt协议
1·网站和搜索引擎的协议文件
2·蜘蛛到网站上第一个访问文件
写robots.txt文件首先要对自己网站的内容了解,哪些内容可以抓取
哪些内容不可以抓取。
《2》·robots.txt语法
1·三个单词
User-agent《用户代理》可以理解为针对谁
file:///C:/Users/Administrator/AppData/Local/YNote/data/18878265862@163.com/a3f705fda4af4c91b2c57df01db9310e/yy%E5%9B%BE%E7%89%8720170824205213.jpg

Allow《允许的意思》有个斜杠是表示目录级,这个是所有文件
都允许蜘蛛抓取的意思。

Disallow《不允许的意思》星号*匹配0个或者若干个字符
匹配所有的搜索引擎
Disallow:斜扛,拒绝
Allow大于Disallow有个优先级,Allow优先执行
星号在前面和在后面都是一样的匹配的
$美元符号,是放到文件的后面的,他是匹配文件类型的
匹配所有的文件类型txt之类的
?号是屏蔽掉所有的动态路径
要不要带/比如文件夹里面有很多个文件都被屏蔽掉了/
/abc是个不完整的
列如/abc

注意
细节英文状态下符号
空格
字母大小写,首字母要大写
生效时间,几天或者两个月内
不要随便屏蔽整站,可能会导致网站两个月没有收录
网站刚刚上线也不要屏蔽,可能会导致网站近期没有收录

需要屏蔽的内容
1·JS
路径统一
后台
不需要的都可以屏蔽掉
如果是织梦的话,就直接用织梦只带的robors
如果是WP是动态路径就不要用robors去屏蔽动态路径
WP博客路径做了伪静态可以屏蔽掉动态路径


我知道答案 本帖寻求最佳答案回答被采纳后将获得系统奖励10 T币 , 目前已有200人回答





上一篇:99-43 robots 的使用要注意哪些细节
下一篇:99-65 8月21日作业题目:发布外链和交换友链要注意什么?
回复 天涯海角搜一下: 百度 谷歌 360 搜狗 搜搜 有道 谷粉 雅虎 必应 即刻

使用道具

  • TA的每日心情
    奋斗
    2019-4-16 13:09
  • 签到天数: 1 天

    [LV.1]初来乍到

    1

    主题

    1830

    帖子

    3764

    积分

    中级SEO

    Rank: 4

    积分
    3764
    娅裳1675 发表于 2018-8-17 01:09:05
    LZ帖子不给力,勉强给回复下吧
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    郁闷
    4 天前
  • 签到天数: 2 天

    [LV.1]初来乍到

    3

    主题

    1824

    帖子

    3797

    积分

    中级SEO

    Rank: 4

    积分
    3797
    榕6737 发表于 2018-8-17 21:25:07
    啥玩应呀
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    开心
    2019-4-16 18:06
  • 签到天数: 2 天

    [LV.1]初来乍到

    2

    主题

    1782

    帖子

    3640

    积分

    中级SEO

    Rank: 4

    积分
    3640
    竹韵5867 发表于 2018-8-20 12:21:59
    边撸边过
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    2

    主题

    1804

    帖子

    3688

    积分

    中级SEO

    Rank: 4

    积分
    3688
    汤6667 发表于 2018-8-22 20:05:10
    为保住菊花,这个一定得回复!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    3 天前
  • 签到天数: 4 天

    [LV.2]偶尔看看I

    0

    主题

    1794

    帖子

    3724

    积分

    中级SEO

    Rank: 4

    积分
    3724
    贺6372 发表于 2018-8-27 05:41:17
    鄙视楼下的顶帖没我快,哈哈
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    1

    主题

    1808

    帖子

    3707

    积分

    中级SEO

    Rank: 4

    积分
    3707
    亢5187 发表于 2018-9-4 00:29:17
    支持,赞一个
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    昨天 17:15
  • 签到天数: 2 天

    [LV.1]初来乍到

    3

    主题

    1836

    帖子

    3790

    积分

    中级SEO

    Rank: 4

    积分
    3790
    寒梅2310 发表于 2018-9-9 18:54:41
    LZ是天才,坚定完毕
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    1

    主题

    1794

    帖子

    3588

    积分

    中级SEO

    Rank: 4

    积分
    3588
    试用版_金枝玉叶 发表于 2018-9-12 14:43:26
    我也顶起出售广告位
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    郁闷
    4 天前
  • 签到天数: 1 天

    [LV.1]初来乍到

    5

    主题

    1843

    帖子

    3766

    积分

    中级SEO

    Rank: 4

    积分
    3766
    焦3998 发表于 2018-9-13 13:01:46
    支持楼主,用户楼主,楼主英明呀!!!
    回复 支持 反对

    使用道具 举报

    B Color Link Quote Code Smilies

    关于作者

    flbcyybxfq

    SEO新手

    • 主题

      2

    • 帖子

      2

    • 关注者

      0

    Archiver|手机版|小黑屋|网络营销论坛  |网站地图
    十五楼SEO论坛、网络营销论坛、中国网络营销行业交流中心!
    【十五楼SEO论坛】草根站长的SEO论坛,关注互联网草根站长的SEO交流论坛,SEO技术优化论坛,SEO技术交流社区,SEO学习网,SEO优化教程分享,十五楼SEO论坛欢迎您!十五楼网络营销论坛是深圳地区的技术交流SEO论坛、百度站长论坛、企业网络营销论坛、面向全国站长、企业的网络营销推广论坛提供SEO优化、网络营销培训、网络推广培训、网络营销推广交流的职业网络营销论坛!