今天在看GOOGLE的时候，无意中发现GOOGLE的网站管理员工具，网址是 http://www.google.com/webmasters/
这是一个比较实用的工具，可以检查你的robots.txt状态，可以检测你的网站被GOOGLEBOT抓取的情况，甚至可以设置GOOGLEBOT抓取你的网站的频率等等。
还有一个sitemap工具尚需研究。建议各位站长可以仔细研究一下。
DISCUZ论坛有一个专门生成GOOGLE SITEMAP的插件，叫做 PopSitemap，可以将站点文件结构直接提交给GOOGLE，便于BOT抓取。