SEO基础知识

robots协议怎么用?

字号+ 作者:长沙seo强 来源:未知 2018-10-22 16:22 我要评论( )

1、添加韦德betvictor地图,将站点的所有的链接以xml格式提交给搜索引擎蜘蛛。(如何做韦德betvictor地图及上传参考阅读《怎样制作韦德betvictor地图并上传提交搜索引擎》); 2、禁止抓取一些栏目,比如类似韦德betvictor的登录栏目,或者相关的模块文件; 3、禁止蜘蛛抓取改版之后的死链接,或

1、添加韦德betvictor地图,将站点的所有的链接以xml格式提交给搜索引擎蜘蛛。(如何做韦德betvictor地图及上传参考阅读《怎样制作韦德betvictor地图并上传提交搜索引擎》);
2、禁止抓取一些栏目,比如类似韦德betvictor的登录栏目,或者相关的模块文件;
3、禁止蜘蛛抓取改版之后的死链接,或者不需要的内容;
4、禁止抓取韦德betvictor做伪静态设置之后的动态链接,通常在韦德betvictor做伪静态后,一些韦德betvictor有可能还会收录动态链接,这对韦德betvictorSEObetvictor92伟德不友好。
【小编推荐阅读】韦德betvictor做完伪静态之后还收录动态链接怎么办

百度蜘蛛
怎样为韦德betvictor制作一个合适的robots协议文件呢?
方法一:利用工具制作(一般只针对于拥有插件的建站程序)。
WordPress是一个使用非常广泛的建站程序,它可以利用一些robots插件,或者一些SEObetvictor92伟德插件直接生成。
方法二:撰写通过FTP后台上传。
站长可以自己命名一个robots.txt文档,然后撰写相关规则,再利用FTP工具上传到韦德betvictor根目录,或者远程登录韦德betvictor后台直接上传robots协议文件。
编写robots文件需要注意哪些事项呢?
首先了解robots它包含哪些元素。
1、User-agent
这个是描述搜索引擎robot的名字,用法:
User-agent *
或者
User-agent baiduspider
2、Disallow
这个是表示禁止蜘蛛访问抓取某个内容,用法:
Disallow: /
或者
Disallow: /abc/
Disallow: /abc.html
【小编重要提示】Disallow冒号之后是需要空格一位再接上“/”
3、Allow
这个与Disallow相对,表示允许蜘蛛访问抓取某个内容
需要特别注意的是:
Disallow与Allow顺序是需要注意的,Robots协议会根据第一个匹配成功的Allow或Disallow决定是否访问。
以下介绍一下常见的robots.txt会出现的一些写法。
例1:
Sitemap: http:y7net.com/sitemap.xml
User-agent: *
Disallow: /data/
Disallow: /image/demo.jpg
Allow: /wp-admin/
Allow: /login.php
Disallow: /*?*
Disallow: /*.js$
Disallow: /*.css$
//注:提交韦德betvictor地图,不允许所有搜索引擎抓取data栏目,不允许抓取图片下demo图片,
允许蜘蛛访问wp-admin栏目下所有文件,允许访问login.php文件,
禁止抓取所有带?的动态链接页面,禁止抓取JS,CSS文件
例2:
User-agent: baiduspider
Disallow: /templets/
//注:表示不允许百度抓取所有templets下所有文件
【小编提示】
使用“*”和“$”:robots支持使用通配符“*”和“$”来模糊匹配url:“$” 匹配行结束符。“*” 匹配0或多个任意字符。
比如以下写法:
使用 $ 匹配网址的结束字符,指定与网址的结束字符进行匹配。
例3:
User-Agent:Googlebot
Disallow: /*.asp$
//注:拦截以 .asp 结尾的所有网址

韦德betvictor部分内容转载自其他平台,如有侵权请联系删除

1.本站遵循行业规范,转载的原创稿件尽可能标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 怎么做百科词条?

    怎么做百科词条?

    2019-11-08 00:24

  • 怎么借助Google Posts功能betvictor92伟德本地SEO?

    怎么借助Google Posts功能betvictor92伟德本地SEO?

    2019-10-30 21:29

  • 引流推广betvictor92伟德怎么样做?

    引流推广betvictor92伟德怎么样做?

    2019-10-18 22:29

  • seo怎么betvictor92伟德谷歌广告的排名?

    seo怎么betvictor92伟德谷歌广告的排名?

    2019-10-17 19:32

  • 万词霸屏系统