九州下载 - 系统安卓苹果手机游戏推荐下载网站!

当前位置:九州下载 > SEO优化 >

百度蜘蛛抓取网站的规则是什么

时间:2022-09-20 10:40编辑:九州下载来源:www.wzjsgs.com

 百度蜘蛛

  想让网站更多的页面被百度收录,我们需要知道百度蜘蛛抓取网站的规则。那么影响百度蜘蛛抓取网站的因素是什么呢?

  一、网站的页面和权重

  质量高,资格老的网站被认为权重比较高,这种网站上的页面被爬行的深度也会比较高,所以会有更多的页面被收录。

  二、页面更新度

  蜘蛛每次爬行都会把页面数据储存起来。如果第二次爬行发现页面与第一次收录完全一样,说明页面没有更新,多次抓取后,蜘蛛会对页面更新频率有所了解,不常更新的页面,蜘蛛也就没有必要经常抓取。如果页面内容经常更新,蜘蛛就会更加频繁的访问这种页面,页面上出现的新连接,也自然会被蜘蛛更快的跟踪,抓取新页面。

  三、导入链接

  无论是外部链接,还是同一个网站的内部链接,要被蜘蛛抓取,就必须有导入链接进入页面,否则蜘蛛根本就没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被深度爬行度增加。

  四、与首页的点击距离

  一般来说网站上权重最高的是首页,大部分外链都是指向首页的,蜘蛛访问最频繁的也是首页。因此,离首页点击距离越近,页面权重就越高,蜘蛛爬行的机会也越大。

  五、URL结构

  页面权重是在收录并进行迭代计算后才知道的,那么前面说的页面权重高有利于被抓取,搜索引擎蜘蛛在抓取前怎么知道页面权重呢?所以蜘蛛要进行预判,除了链接,与首页距离、历史数据等因素外,短的、层次浅的URL也可能被直观的认为在网站上的权重相对较高。

相关文章