1月份中旬，我负责的一个网站，网站流量突然下降了至5分之一的流量。于是我查询下了百度收录量。发现这个网站网站收录页面数量为9000多，之前为13万多。难怪流量下降这么明显。

 这个网站是一个论坛，7月份对它进行了静态化处理。当时上线后不久，网站收录正常，没有大面积减少的迹象。由于任务繁重，加上每天对网站的数据进行观察也没有明显的流量下降的迹象。

 1月份中旬才下降明显。通过对收录的页面的观察，我发现，百度只收录了网站的8080端口页面，而且几乎只收录了动态地址，对于静态地址几乎没有收录。谷歌查询收录量，竟然为0.

 这就让人费解了。我可是从来没遇到过这样的问题，当时刚好ZAC在PHPWIND在线访谈，于是我就问了他这个问题。他当时的回答也没有解决我的问题。可能这个问题在其他地方很少出现过吧。

 通过对问题一个一个的排查，不久，我终于找到了问题所在。原来，在8月份，技术修改了robots.txt文件。

 当时语法是这样的：

 

#

 # robots.txt for Discuz! Board

 # Version 6.0.0

 #

 

User-agent: *

 Disallow: /

 Disallow: /admin/

 Disallow: /api/

 Disallow: /attachments/

 Disallow: /customavatars/

 Disallow: /images/

 Disallow: /forumdata/

 Disallow: /include/

 Disallow: /ipdata/

 Disallow: /templates/

 Disallow: /plugins/

 Disallow: /mspace/

 Disallow: /wap/

 Disallow: /admincp.php

 Disallow: /ajax.php

 Disallow: /digest.php

 Disallow: /logging.php

 Disallow: /member.php

 Disallow: /memcp.php

 Disallow: /misc.php

 Disallow: /my.php

 Disallow: /pm.php

 Disallow: /post.php

 Disallow: /register.php

 Disallow: /rss.php

 Disallow: /search.php

 Disallow: /seccode.php

 Disallow: /topicadmin.php

 Disallow: /space.php

 

     不知道大家有没有发现上面的语法错误，其实错误已经很明显了。就是第一条语句有错。不应该是Disallow: /

 而是Allow:/ 或者这句话就干脆不写，直接删除这条语句。

      别小看这多写的3个字母，却让搜索引擎的蜘蛛从此不再抓取你的网页。网站收录量变开始慢慢下降，知道从搜索引擎数据库中删除。例如谷歌几乎等于删除这个网站的页面。让百度蜘蛛误认为只有抓8080端口页面才允许抓取。

      而实际上8080端口是无法访问的。为了最大的减少损失，我于是叫技术立刻恢复对8080端口的访问。几天后，流量有所上升，网站收录量恢复到2万多，但是离13万相差甚远。谷歌收录也有2万多，收录很正常。但是百度仍然只收录8080端口，偶尔收录下默认端口，而且动态的占大多数，静态的占及少数。

      通过论坛管理员的后台数据显示，网站整体的流量几乎下降了3分之2.

 目前问题还在处理中，希望能早日恢复流量。

      总结：作为一名seo，对于网站的robots.txt一定要定期检查一次，建议1个月一次，同时对技术人员进行SEO相关的培训。让技术人员了解基本的SEO知识。最好制定技术部门的SEO规范。让大家有个参考。