单页优化主要目标是提高搜索引擎收录网页的概率。但单页优化也可以禁止蜘蛛/爬虫来爬某些不想被收录的页面。

 

 

　　 前段时间发现有些不应收录的页面也被收录，有点小震惊。为什么会震惊呢？因为，已经在robots.txt和noindex/nofollow元标签中明确告诉蜘蛛/爬虫不能爬了。

　　 为什么设置失效了呢？深入检查后发现，网站地图（Sitemap.xml）包括了那些页面。

　　 原以为，只要在robots.txt和noindex/nofollow元标签中阻止蜘蛛/爬虫，会是双保险。没想居然还是被收录了。所以，以后在做网站地图时，还是得多多检查，是否包括了那些不应收录的页面。


　　 【本文出处】：伯乐在线 - 关关
　　 【本文地址】：http://forum.jobbole.com/entry.php/45
　　 【转载声明】：如若转载，请保留保留本文出处和本文地址 ，谢谢合作。