允许所有的robot访问 User-agent:Disallow:或者 User-agent:Allow:或者也可以建一个空文件 "/robots.txt"file 禁止所有搜索引擎访问网站的任何部分 User-agent:Disallow:/ 禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）User-agent:Disallow:/01/ Disallow:/02/ Disallow:/03/ 禁止某...