一个seo工作人员，特别是那些大型网站的seo人员来说，能独立分析网站日志是一种必不可少的技能，因为大型的网站栏目结构以及页面非常的繁杂，蜘蛛也是少不了会频繁访问，从蜘蛛给网站留下的一些痕迹上面能够掌控网站不少的信息，这对网站优化运营是一种非常必要的参考，今天肥猫科技就跟大家讲讲我们能从网站日志中获取哪些信息。

一、哪些搜索引擎来了我的网站抓取

从网站日志里面可以看出网站被哪些蜘蛛所抓取，每个搜索引擎都有自己的蜘蛛程序，各大搜索引擎的标头特征如下所示：

百度蜘蛛:spider

谷歌蜘蛛：Googlebot

360蜘蛛：360Spider

搜狗蜘蛛：sogouspider

二、网站目录的抓取数量

通过抓取总量的分析可以对比出网站哪个目录更受搜索引擎的关注，一般来说蜘蛛抓取越频繁的目录，site网站此目录的排名会相对靠前，我们也可通过目录的蜘蛛访问量来适当调整目录的结构，对于那些抓取压力较大但是不怎么重要的目录也可适当缩减链接入口，以免阻碍给其它重要目录的抓取。

三、网站页面的抓取数量

可以从中看出哪个页面蜘蛛是否抓取了一些没有被收录价值的页面，或者老是重复的抓取了这些页面等，那么同理要先采取措施予以频闭，要么是运用到nofollow标签，要么是robots文件等，这样就会降低因为搜索引擎抓取到大量相关性低或者质量度差的页面而影响到页面的权重传递这样的不利影响。

四、可以一览蜘蛛方面各网页的状态码

五、了解网站日志蜘蛛的来访时间

对网站日常日志分析总结中，可以很直观的看出每天具体是哪个时间段是蜘蛛访问的高峰时期，我们为了迎合搜索引擎，也可以相应调整网站的更新时间，争取在蜘蛛活跃度最高的时间段更新文章，这样对自己网站的收录会有非常大的帮助，甚至还有可能达到秒收的效果!

肥猫科技认为，分析网站日志是一个非常有意义的技能，特别是网站建立的初期和运营遇到状况的时候，分析日志这个方面就更是尤为重要，当然再碰到信息量特别大的时候，手动操作效果不好，可以使用一些日志分析工具来查看。