网站优化中robots的用途有哪些

般都说可以使用robots.txt 文件来屏蔽不想被搜索引擎抓取的页面，但是这些“不想被抓取的页面”般都会有哪些呢?下面来举几个简单的例子。

(1)多版本URL情况

阅读全文

SEO优化 2019-04-26 309 0 网站优化robots用途哪些