1月份中旬，我负责的一个网站，网站流量突然下降了至5分之一的流量。于是我查询下了百度收录量。发现这个网站网站收录页面数量为9000多，之前为13万多。难怪流量下降这么明显。
 这个网站是一个论坛，7月份对它进行了静态化处理。当时上线后不久，网站收录正常，没有大面积减少的迹象。由于任务繁重，加上每天对网站的数据进行观察也没有明显的流量下降的迹象。
 1月份中旬才下降明显。通过对收录的页面的观察，我发现，百度只收录了网站的8080端口页面，而且几乎只收录了动态地址，对于静态地址几乎没有收录。谷歌查询收录量，竟然为0.
 这就让人费解了。我可是从来没遇到过这样的问题，当时刚好ZAC在PHPWIND在线访谈，于是我就问了他这个问题。他当时的回答也没有解决我的问题。可能这个问题在其他地方很少出现过吧。
 通过对问题一个一个的排查，不久，我终于找到了问题所在。原来，在8月份，技术修改了robots.txt文件。
 当时语法是这样的：
 
#
 # robots.txt for Discuz! Board
 # Version 6.0.0
 #
 
User-agent: *
 Disallow: /
 Disallow: /admin/
 Disallow: /api/
 Disallow: /attachments/
 Disallow: /customavatars/
 Disallow: /images/
 Disallow: /forumdata/
 Disallow: /include/
 Disallow: /ipdata/
 Disallow: /templates/
 Disallow: /plugins/
 Disallow: /mspace/
 Disallow: /wap/
 Disallow: /admincp.php
 Disallow: /ajax.php
 Disallow: /digest.php
 Disallow: /logging.php
 Disallow: /member.php
 Disallow: /memcp.php
 Disallow: /misc.php
 Disallow: /my.php
 Disallow: /pm.php
 Disallow: /post.php
 Disallow: /register.php
 Disallow: /rss.php
 Disallow: /search.php
 Disallow: /seccode.php
 Disallow: /topicadmin.php
 Disallow: /space.php
 
     不知道大家有没有发现上面的语法错误，其实错误已经很明显了。就是第一条语句有错。不应该是Disallow: /
 而是Allow:/ 或者这句话就干脆不写，直接删除这条语句。
      别小看这多写的3个字母，却让搜索引擎的蜘蛛从此不再抓取你的网页。网站收录量变开始慢慢下降，知道从搜索引擎数据库中删除。例如谷歌几乎等于删除这个网站的页面。让百度蜘蛛误认为只有抓8080端口页面才允许抓取。
      而实际上8080端口是无法访问的。为了最大的减少损失，我于是叫技术立刻恢复对8080端口的访问。几天后，流量有所上升，网站收录量恢复到2万多，但是离13万相差甚远。谷歌收录也有2万多，收录很正常。但是百度仍然只收录8080端口，偶尔收录下默认端口，而且动态的占大多数，静态的占及少数。
      通过论坛管理员的后台数据显示，网站整体的流量几乎下降了3分之2.
 目前问题还在处理中，希望能早日恢复流量。
      总结：作为一名seo，对于网站的robots.txt一定要定期检查一次，建议1个月一次，同时对技术人员进行SEO相关的培训。让技术人员了解基本的SEO知识。最好制定技术部门的SEO规范。让大家有个参考。
 

     DICK发表此文章时间2011-02-17：欢迎转载!本文地址：http://www.huyong.org.cn/564.html   

虎勇网推出SEO文章代写服务，550字低至8元，VIP更享有折扣！

未经允许请勿转载：虎勇网 » robots.txt语法错误对网站的影响-seo常见问题