日照网站公司robots基本写法
时间:[2020-07-17]    关键词:[日照网站公司]

      日照网站公司分析,robots协议对于我们的网站建设很重要的,可以保护我们网站一些文件不会露在搜索引擎之下,进而就会有 效的控制百度蜘蛛的抓取路径,为我们站长做好网站seo创 造关键的条件。我们的网站刚刚创建,有些内容还不是很完善,暂时还不想被搜索引擎收录时,就可以很 好的使用robots协议,发挥robots协议大的价值。


日照网站公司案例
  robots.txt协议文件属于网站的一个纯文本文件,主要是给搜索引擎蜘蛛看的。搜索引擎蜘蛛爬行到我们的网站,步就是抓取这个文件--robots协议,根据里面描述的内容来决定对我们网站文件访问的大概框架。

  日照网站公司总结,robots.txt文件应该放在我们网站的根目录下。
  在一个站点上不仅 拥 有一个"/robots.txt"文件,而且文件名的每个字母要求全 部是小写。
  robots.txt文件用法举例
  例1.禁止所 有搜索引擎访问网站的任 何部分
  下载该robots.txt文件User-agent:*
  Disallow:/
  例2.允许所 有的robot访问
  (或者也可以建一个空文件"/robots.txt"file)
  User-agent:*
  Disallow:
  例3.禁止某个搜索引擎的访问
  User-agent:BadBot
  Disallow:/
  例4.允许某个搜索引擎的访问
  User-agent:baiduspider
  Disallow:
  User-agent:*
  Disallow:/
  一个简单例子
  在这个例子中,该网站有三个目录对搜索引擎的访问做了限 制,即搜索引擎不会访问这三个目录。
  日照网站公司提醒大家需要注意的是对每 一个目录须分开声明,而不要成"Disallow:/cgi-bin//tmp/"。
  User-agent:后的*具有意义的含义,代表"anyrobot",所以在该文件中不能有"Disallow:
  /tmp/*"or"Disallow:*.gif"这样的记录出现.
  User-agent:*
  Disallow:/cgi-bin/