网站log日志分析与要点总结详细教程

网站log日志其实就是百度蜘蛛抓取的记录，百度蜘蛛每来一次，并且都抓取了什么，哪类蜘蛛来进行抓取的，网站log日志都会记得非常清楚，我们可以获取日志进行分析，百度蜘蛛今天都抓取了我们多少个页面，其中哪些页面没有抓取成功等等，从而可以进行优化我们的网站，使之更加符合网站SEO优化。

在哪里可以获取到log日志！

哪里可以获取到log日志那？如果是linux+宝塔面板的主机环境，我们登录宝塔linux面板后，点击左侧“文件”，在www下的wwwlogs目录中就能看到网站访问日志了。如果是虚拟空间，你可以去LOG目录去查找，或者问下你的空间商即可。

网站log日志可以分析哪些数据！

1、查看目录抓取概况

目录抓取，可以清晰的查看到光顾网站的蜘蛛爬行过哪些目录。要知道：有些目录是没有价值的，如一些图标目录、下载目录、留言目录等，还有后台目录、数据库，如果任由蜘蛛爬行，也是一种安全隐患。另外一方面，搜索引擎对于不同的站点都有着抓取配额，无用目录，更不要占用这样的配额，以免减少有效配额的抓取量。

2、查看页面抓取概况

页面抓取可以准确的查看到蜘蛛爬行的每一个页面，这也是对于LOG日志分析上非常重要的一个环节。如：多重URL链接的抓取？垃圾页面的抓取？都是可以在其中展现出来的。甚至：某个页面抓取频率越高，通常代表这个页面更有价值。

如果你想优化的页面，抓取频率偏低，那么就要为其增加适当的曝光度，来达成你想要的结果。

3、查看状态码信息

状态码分为两种，一种是蜘蛛状态码，另一种是用户状态码，通过蜘蛛状态码可以准确的查看到网站是否存在抓取问题。

例如：404代表的是错误页，301、302代表的是重定向，还有一些：504、500、等状态码，值得说的是：除去200状态码，出现其他的状态码都是应当值得注意的，当然，如果只是个别几条则无需理会。但是如果数量一旦偏多，网站则100%出现问题了。

而用户状态码，则代表用户的访问情况，在这其中可以清晰的看到用户最为关注哪些页面。不要认为这是小事情，懂得营销的站长，知道投其所好！

我们用什么工具去分析网站log日志？

分析百度日志工具有很多，比如“光年日志分析工具”或者“haolou在线分析”这边给大家推荐一个好用的网站日志在线分析工具：“www.loghao.com”

大家将网站日志所有内容复制粘贴到左侧，然后点击分析按钮，就能方便的查看搜索引擎爬虫的爬取记录了。是不是非常简单那？

注意：网站log日志实战要点总结！

1、如果想要更多有效的着陆页被蜘蛛更多的抓取，那么请进行结构内链的完善。

2、不希望蜘蛛抓取那些没有优化意义的页面上，那么robots.txt上来进行封闭。

3、“蜘蛛陷阱”无止尽的循环，浪费抓取配额，通过页面抓取，都可以直观看到

4、曝光力度够了，蜘蛛一样不抓取，只能说页面价值太低，需要进一步优化

5、我们希望每个页面的下载时间足够快，可以在有效的时间内抓取更多的页面。

6、不是所有的蜘蛛都是真的蜘蛛，要学会查看蜘蛛是否为“采集”和“模拟”。

7、分析每天的蜘蛛，可以查看上升或者下降的趋势，明显变化，网站会出事的。

8、降低或者封禁不会带来流量的蜘蛛，以减少服务器压力，对大型网站很重要。