百度站长平台:巧用robots避免蜘蛛黑洞
对于百度搜索引擎来说,蜘蛛黑洞特指网站通过极低的成本制造出大量参数过多,及内容雷同但具体参数不同的动态URL ,就像一个无限循环的“黑洞”将spider困住,Baiduspider浪费了大量资源抓取的却是无效网页。
比如很多网站都有筛选功能,通过筛选功能产生的网页经常会被搜索引擎大量抓取,而这其中很大一部分检索价值不高,如“500-1000之间价格的租房”,首先网站(包括现实中)上基本没有相关资源,其次站内用户和搜索引擎用户都没有这种检索习惯。这种网页被搜索引擎大量抓取,只能是占用网站宝贵的抓取配额。那么该如何避免这种情况呢?
我们以北京某团购网站为例,看看该网站是如何利用robots巧妙避免这种蜘蛛黑洞的:发布: 2015-03-29 分类: seo教程 阅读: 次 评论: 0次
- 控制面板
- 最近发表
-
- [08/24]噬噭老域名购买,老域名百度权重域名高pr交易,老域名出售,已备案域名,百度搜狗收录域名,外链反链域名
- [08/24]噧噫美国外贸抗投诉服务器免投诉vps仿牌vps推荐仿牌空间主机,国外欧洲荷兰仿牌服务器,防投诉主机空间
- [02/22].tv域名主要应用在哪?
- [02/22].fit域名为所有健身爱好者创建在线中心,个人或企业均可注册
- [02/22].ltd域名代表着公司,是“有限责任公司”的专属域名
- [02/22]2023年-2024年,.com域名的价格仍有可能逐年上涨
- [02/22]去年10月份,阿里就收购了品牌域名“猫享”Maoxiang
- [05/09]Windows 2000 Server的打印服务
- [05/09]Windows 9X工作站与Windows 2000网络的连接
- [05/09]Windows 2000 Server的服务配置
- 搜索
- 最新留言
- Tags列表