新闻动态
Baidu spider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点,视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容.即我们常说的抓取频次,那么,百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢,主要指标有以下4个:
(1) 网站更新频率。更新快多来,更新慢少来,直接影响Baidu spider 的来访频率。
(2) 网站更新质量,更新频率提高了,仅仅是吸引了Baidu spider的注意,baidu spider对质量是有严格要求的,如果网站每天更新出的大量内容都被 Baidu spider判定为低质页面,依然没有意义。
(3) 连通度、网站应该安全稳定、对 Baidu spider保持畅通,经常给 Baidu spider吃闭门羹可不是好事情。
(4) 站点评价。百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点的情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是首度内部一个非常机密的数据。站点评级从不独立使用,会配合其他因子和阈值一起共同影响网站的抓取和排序。
抓取频次间接决定着网站有多少页面有可能被建库收录,如此重要的数值如果不符合站长预期.该如何调整呢?百度站长平台提供了抓取频次工具(http://zhanzhang. baidu.com/pressure/index),并已完成多次升级。该工具除了提供抓取统计数据外,还提供“频次调整”功能,网站建设者根据实际情况向百度站长平台提出希望Baidu spider增加来访或减少来访的请求,工具会根据站长的意愿和实际情况进行调整。
上一篇: Baidu spider抓取异常的原因
下一篇: 搜索引擎抓取策略类型