九州下载 - 系统安卓苹果手机游戏推荐下载网站!

当前位置:九州下载 > 网站教程 >

什么是网站日志?网站日志分析的方法与步骤

时间:2022-08-07 09:50编辑:九州下载来源:www.wzjsgs.com

  网站日志(服务器日志)是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log为后缀的日志文件。网站日志的用途主要有两种,其一是记录网站的运营情况,如用户IP、操作系统、访问页面、蜘蛛抓取情况等信息;其二是记录网站运营过程中发生的错误详情,如错误页面、错误代码等信息;专业的SEO人员能够通过查看网站日志了解搜索引擎网页蜘蛛爬行抓取网站的详细数据,从而做出利于SEO(搜索引擎优化)的调整。

  通俗解释:打个简单的比方,网站日志就相当于飞机上面的黑匣子,当网站出现问题或需要查看网站各项数据的时候首先查看的就是网站日志。通过网站日志可以清楚的得知用户在什么IP地址、什么时候访问的、用的什么操作系统、通过哪个浏览器、显示器分辨率是多少、访问了你网站的哪个页面,做什么操作,是否访问成功等等信息。

  网站原始日志不仅包括了用户的点击行为,同时也记录了搜索引擎抓取及停留等动作,下面就以实例来进行网站日志分析,这里针对百度。

  第一步:下载网站日志

  网站日志需要在服务器下载(通常以logs命名),不懂如何下载的朋友可以咨询技术人员(公司没有专门技术的话可以咨询服务器提供商),另外需要注意的是,有些服务器为了节约空间,没有设置保留网站日志。

  

网站日志下载

 

  第二步:用Notepad++打开日志文件

  Notepad++有强大的编辑能力,安装也十分方便,大家可以自行搜索下载,下面是日志打开的截图,一些数据筛选提取将从这里开始。

  

日志文件

 

  第三步:筛选出百度蜘蛛轨迹

  百度蜘蛛是Baiduspider/2.0,所以我们按Ctrl+F调出查找功能,如图:

  

百度蜘蛛轨迹

 

  在查找目标量输入Baiduspider/2.0,最后点击“查找所有打开文件”,会在下方得出所有包含Baiduspider/2.0的行,如下图:

  

日志文件

 

  第四步:抽出页面url

  1.先将所有查找出来的内容复制到另一个Notepad++窗口中,然后用两次扩展替换,如图:

  

Notepad++

 

  

扩展替换2.jpg

 

  这里简单的说明,\\n是换行的意思,我们通过两次替换将页面的url剥离出来成为一行,然后将所有内容复制粘贴到表格(xls)中,如图:

  

日志文件

 

  接着利用xls的自动筛选功能,筛选出页面url(看具体情况,一次筛选不成可进行多次筛选),如图:

  

自动筛选

 

  更多操作,比如说要看看tag页面被抓取了多少,我们可以筛选包含tag的页面,如图:

  

日志包含tag的url.

 

  到这里大家应该知道网站日志分析的方法与步骤了,更多的细节分析大家可以根据具体的需求进行。另外,知道了哪些页面被抓取了,他们的收录又是怎样的呢?我们可以用Python来批量检测,如图:

  

网站日志分析的

 

  

网站日志分析收录结果

 

  关于网站原始日志的分析(seo方向)就到这里,希望能对大家有所帮助。

相关文章