您现在的位置 翱思动态 上海网站优化

限制搜索引擎访问怎么设置robots？想必许多人都知道；也有许多人不知道，而且想知道。下面上海网站优化为各位详细讲解下网站优化之Roberts设置：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
  2. 禁止所有搜索引擎收录网站的某些目录：
  User-agent: *
  Disallow: /目录名1/
  3. 禁止某个搜索引擎收录本站，例如禁止百度：
  User-agent: Baiduspider（googlebot）
  Disallow: /
  4. 禁止所有搜索引擎收录本站：
  User-agent: *
  Disallow: /
  5. 加入sitemap.xml路径,例如：
  Sitemap: http://www.alsovalue.com/sitemap.xml

如果你不想设置，让所有搜索引擎全收录的话，就直接可以不设置robots。