了解robots文件，主动告诉搜索引擎该抓取什么内容
导读：首先我们要了解什么是robots文件，比如，在安徽人才库的首页网址后面加入“/robots.txt”，即可打开