robots协议是一个放置在网站根目录下的robots.txt文件,用于告诉搜索引擎爬虫哪些页面可以抓取,哪些页面不可以抓取。 确定要查看robots协议的网站: 假设我们要查看的网站是example.com。 在浏览器中访问该网站: 打开你的浏览器,输入example.com并访问该网站。 查找并查看网站的robots.txt文件: 在浏览器的地址栏中...
Sitemap: robots协议放在网站根目录里面,robots.txt可以通过FTP工具下载到本地进行查看。一般要是网站没多大问题的,有可能没有robots协议。如果想单独定义搜索引擎的漫游器访问子目录时的行为,那么可以将自定的设置合并到根目录下的robots.txt,或者使用robots元数据(Metadata,又称元数据)。