搜索引擎蜘蛛的更新策略

作者: zhushican　发布: 2015-04-18　分类: seo教程　阅读: 次　查看评论

搜索引擎蜘蛛的更新策略

    百度搜索是怎么更新我们网站的？并赋予关键词排名，必须要了解百度蜘蛛baiduspider抓取过程中，针对不同情况采取对应更新策略，才能更充分的提升网站的收录量，让更多的页面参与排名.
    我们通过研究搜索引擎蜘蛛，了解它的更新策略，缩短我们的排名周期。搜索引擎蜘蛛是一种形象的说法，谷歌叫做机器人，在国内引申为蜘蛛，他是一个搜索引擎抓取数据的程序。蜘蛛的更新策略很多因素都有关系，而我们的网站的收录、快照、排名与它都有关系。
搜索引擎对所有行业的策略是不同的，不同行业用户需求不同，所以用千篇一律的方式做优化是不可以的，要具体问题具体分析。
   随着互联网上的页面的增加，搜索引擎蜘蛛对所抓取的内容越来越挑剔，只会去抓取有价值的东西，一般来说搜索引擎抓取网站有四个步骤：1、抓取；2、筛选；3、建立索引，筛选后的页面储存于数据库，以关键词为单位进行存取，并做好排序，当用户搜索时直接进行调用，建立索引过程就是排序的过程。4、输出结果。
  
    搜索引擎蜘蛛来到网站也并一定就会收录，蜘蛛在正常的情况下发现的新连接都会去抓，那么什么情况下不会抓取呢？
    一、域名历史。很多朋友会用老域名做网站，因为1、老域名年龄较长。殊不知这在排名上是不会有优势的，如果以前做的和你现在做的相关，会助推排名。2，pr值较高。pr较高有没价值？从百度看是没有价值的，pr是谷歌页面等级系统，和百度无关。pr可以劫持，作假，把一个没有pr的域名301重定向到有pr的域名，谷歌更新时会给新域名pr。
    老域名 操作不当很延长的排名周期，长期没人用，当网站关闭后，此域名蜘蛛会不断访问，会尝试很多次不能访问，会暂停访问，这时做新站，给百度提交也不会马上访问，这就属于域名历史，新注册的域名也会出现这种情况，这个域名可能是被人注册过，做过灰色行业的，被K不续费，被域名商回收重新卖，如果刚好买到这种域名，蜘蛛前期不会访问，看搜索引擎有没抓取，注册百度站长平台，抓取频率是搜索引擎单位时间抓取频率，新站验证百度站长平台，外链也发了、也提交了，但一直是0，说明域名历史有问题，搜索引擎抓取有时间性，URL索引数据库以域名作为单位进行存储，先收集再去抓取，长时间不去抓取，说明历史有问题，通过百度搜索一下根域名或多或少可以知道是否用过。
    如果长期不访问怎么办？投诉百度是没用的，建议可以更换子域名， 要不就换域名。
    二、目录前科。遇到某个目录不抓取，这就是属于目录前科，因为这个目录文章质量低并大量更新，导致目录不收录，蜘蛛不捉取。
    三、链接等级。有些新站只抓首页，这属于链接等级问题，搜索引擎在抓取一个网站链接是有等级的，新站内页等级低，刚开始发现也不会抓，页面等级和结构问题息息相关。当新网站结构过深，造成内页等级低，蜘蛛不会抓取，建议首页、栏目页、内容页，三层结构就行了，或者以目录形式存在，例如汽车之家，每款汽车都是以目录页形式存在。
链接等级如果过于细分，也会导致搜索引擎不抓取。
    四、信用等级。就是404，当一个链接多次打不开，就不会访问了，一个网站高质量并有规律更新持续2-3周以上，后期不更新，蜘蛛也会一直去。前期一定要高质量，这就属于信用等级。
    正常情况下蜘蛛知道的链接，都是会去抓取的。但是上述的4个情况不会去抓。
    新站上线了2-3周还没去抓，说明域名有前科，最好是直接换域名。通过发外链吸引蜘蛛，也是解决搜索引擎尽快抓取的好办法。

« 上一篇下一篇 » 原创文章，转载请注明出处！标签: 搜索引擎蜘蛛