高pr域名

robots.txt限制些什么屏蔽内容与安全性的考虑

robots.txt文件可以有效的屏蔽搜索引擎抓取我们不需要被抓取的页面和网站源文件，其中的好处是限制搜索引擎过多的抓取不必要的内容，减少搜索引擎蜘蛛进行不必要的网站爬寻分散，也是为了让我们的网站不必要的内容不在搜索引擎被收录，不让别人搜索到。 其中什么样的文件会被限制抓取呢？www.canadajackets.biz

一、是否通过robots.txt来屏蔽动态页面，减少页面的重复抓取？