请选择 进入手机版 | 继续访问电脑版

QQ登录

只需一步,快速开始

网络营销论坛

查看: 162202|回复: 61

[SEO技术] robots协议的全面剖析 99-32

  [复制链接]

该用户从未签到

2

主题

2

帖子

16

积分

SEO新手

Rank: 1

积分
16
发表于 2018-8-8 16:35:43 | 显示全部楼层 |阅读模式

测式内容或者付费的是不参与网站排名的
网站和搜索引擎的协议
robots.txt指定那些内容是不让蜘蛛抓取的
什么是robots.txt协议
1·网站和搜索引擎的协议文件
2·蜘蛛到网站上第一个访问文件
写robots.txt文件首先要对自己网站的内容了解,哪些内容可以抓取
哪些内容不可以抓取。
《2》·robots.txt语法
1·三个单词
User-agent《用户代理》可以理解为针对谁
file:///C:/Users/Administrator/AppData/Local/YNote/data/18878265862@163.com/a3f705fda4af4c91b2c57df01db9310e/yy%E5%9B%BE%E7%89%8720170824205213.jpg

Allow《允许的意思》有个斜杠是表示目录级,这个是所有文件
都允许蜘蛛抓取的意思。

Disallow《不允许的意思》星号*匹配0个或者若干个字符
匹配所有的搜索引擎
Disallow:斜扛,拒绝
Allow大于Disallow有个优先级,Allow优先执行
星号在前面和在后面都是一样的匹配的
$美元符号,是放到文件的后面的,他是匹配文件类型的
匹配所有的文件类型txt之类的
?号是屏蔽掉所有的动态路径
要不要带/比如文件夹里面有很多个文件都被屏蔽掉了/
/abc是个不完整的
列如/abc

注意
细节英文状态下符号
空格
字母大小写,首字母要大写
生效时间,几天或者两个月内
不要随便屏蔽整站,可能会导致网站两个月没有收录
网站刚刚上线也不要屏蔽,可能会导致网站近期没有收录

需要屏蔽的内容
1·JS
路径统一
后台
不需要的都可以屏蔽掉
如果是织梦的话,就直接用织梦只带的robors
如果是WP是动态路径就不要用robors去屏蔽动态路径
WP博客路径做了伪静态可以屏蔽掉动态路径






上一篇:99-43 robots 的使用要注意哪些细节
下一篇:99-65 8月21日作业题目:发布外链和交换友链要注意什么?
回复 天涯海角搜一下: 百度 谷歌 360 搜狗 搜搜 有道 谷粉 雅虎 必应 即刻

使用道具 举报

  • TA的每日心情

    昨天 08:57
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    1

    主题

    786

    帖子

    1628

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1628
    发表于 2018-8-17 01:09:05 | 显示全部楼层
    LZ帖子不给力,勉强给回复下吧
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2019-2-1 01:17
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    3

    主题

    773

    帖子

    1598

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1598
    发表于 2018-8-17 21:25:07 | 显示全部楼层
    啥玩应呀
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2019-2-1 10:10
  • 签到天数: 3 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    2

    主题

    743

    帖子

    1527

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1527
    发表于 2018-8-20 12:21:59 | 显示全部楼层
    边撸边过
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-1-23 18:07
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    2

    主题

    782

    帖子

    1605

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1605
    发表于 2018-8-22 20:05:10 | 显示全部楼层
    为保住菊花,这个一定得回复!
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-2-12 11:22
  • 签到天数: 1 天

    连续签到: 1 天

    [LV.1]初来乍到

    0

    主题

    789

    帖子

    1596

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1596
    发表于 2018-8-27 05:41:17 | 显示全部楼层
    鄙视楼下的顶帖没我快,哈哈
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    奋斗
    5 天前
  • 签到天数: 4 天

    连续签到: 1 天

    [LV.2]偶尔看看I

    1

    主题

    828

    帖子

    1699

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1699
    发表于 2018-9-4 00:29:17 | 显示全部楼层
    支持,赞一个
    回复 支持 反对

    使用道具 举报

  • TA的每日心情

    2019-2-5 22:48
  • 签到天数: 2 天

    连续签到: 1 天

    [LV.1]初来乍到

    3

    主题

    806

    帖子

    1653

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1653
    发表于 2018-9-9 18:54:41 | 显示全部楼层
    LZ是天才,坚定完毕
    回复 支持 反对

    使用道具 举报

    该用户从未签到

    1

    主题

    768

    帖子

    1536

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1536
    发表于 2018-9-12 14:43:26 | 显示全部楼层
    我也顶起出售广告位
    回复 支持 反对

    使用道具 举报

  • TA的每日心情
    无聊
    2019-1-22 01:32
  • 签到天数: 2 天

    连续签到: 2 天

    [LV.1]初来乍到

    5

    主题

    816

    帖子

    1674

    积分

    初级SEO

    Rank: 3Rank: 3

    积分
    1674
    发表于 2018-9-13 13:01:46 | 显示全部楼层
    支持楼主,用户楼主,楼主英明呀!!!
    回复 支持 反对

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    Archiver|手机版|小黑屋|

    • Copyright   ©2015-2019  网络营销论坛   Powered by©SEO论坛    |网站地图

      【十五楼SEO论坛】草根站长的SEO论坛,关注互联网草根站长的SEO交流论坛,SEO技术优化论坛,SEO技术交流社区,SEO学习网,SEO优化教程分享,十五楼SEO论坛欢迎您!十五楼网络营销论坛是深圳地区的技术交流SEO论坛、百度站长论坛、企业网络营销论坛、面向全国站长、企业的网络营销推广论坛提供SEO优化、网络营销培训、网络推广培训、网络营销推广交流的职业网络营销论坛!

    快速回复 返回顶部 返回列表