近期筆者對年夜約50多位剛年夜事或已經年夜事1-2年的seoer做了個小發芽拜訪，其中搜羅良多面試者，真正在工作中能剖析到日志的seoer比例很是很是的少，在問到訪謁日志在seo所起到的浸染，良多seoer都直搖頭，或者僅僅知道一些皮短處未親手操作過，其首要原因仍是在公司平臺中并文暌剮機緣去實踐，下面筆者分享下自己對網站原始訪謁日志的熟悉：
什么是訪謁日志
網站訪謁日志是記實web處事寡領受措置請求以及運行時錯誤等各類原始信息的以.log結尾的文件，切當的講，應該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶在什么IP、什么時刻、用什么操作系統、什么瀏覽器、什么分辯率顯示器的情形下訪謁了你網站的哪個頁面，是否訪謁成功。
什么時辰我們需要去剖析日志及日志特征
我們會天天都去剖析日志嗎?不會的，因為日志剖析斗勁死板，一般都是每月或者半月剖析一次。這種剖析屬于日常剖析，如不美觀您的網站一向都斗勁正常那可以每月剖析一次，或者可以簡單的剖析一次。
其實日志更多是在網站呈現異常的時辰，會不雅察看半個月日志，集平剖析蜘蛛的動向。好比會剖析是不是網站404，robots設置異常或者掛馬等問題造成蜘蛛消逝蹤，逐兒去查找解決問題。
下面是年夜筆者日常剖析的日志中取的一條訪謁記實：
119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
119.254.22.200 為用戶訪謁ip
10/Apr/2012:00:04:54 +0800 為訪謁日期 -時區
GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個頁面(GET暗示處事器動作)
200 處事器響應狀況碼
25269 為頁面字節數。
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。
注重：任何蜘蛛都僅僅為網站的通俗用戶。不要覺得蜘蛛很是的強年夜，良多人還認為網站若禁止登錄查看內容，蜘蛛都能爬取上岸后的頁面內容，這是不成能的。除非網站做了蜘蛛專屬手段。
怎么去剖析網站訪謁日志
曾記得在幾年前，筆者剛接觸seo的時辰，工具稀少的年月，標識表記標幟一向都喜歡手工
去剖析訪謁日志，當然手工剖析很費時吃力，再這里只講解下筆者最喜歡手工剖析日志中的幾點。
筆者此刻手工剖析一般都集中在研究每日蜘蛛在網站上爬行紀律與網站更新數據之間的關系。當然每個網站需按照自己來不雅察看，最后會有一個很是完美的紀律。
筆者會把每日的蜘蛛訪謁時刻按時刻段排序統計成報表，
好比：2012-4-18 1-2點爬行5次
2-3點爬行3次
3-4點爬行10次
如不美觀你細心的話可以做個走勢圖就很是直不美觀。這種統計一般都是在網站剛成立后和網站出異常后增強剖析日志，日常運營中，更多注重的是剖析出蜘蛛每日的爬行紀律然后按時的放出充量文章，增添收錄。
手工剖析日志都是斗勁死板的，有時會影響神色，不外此刻工具興旺的年月，我們也借助工具來達到事半功倍。
筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡單，筆者不在此演示，有樂趣的自己百度，它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常，與頁面抓取痕跡。好比404. 獨一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀律生成走勢圖的工具。
注重：在日志剖析中，良多時辰我們都是想年夜日志中尋找到問題，以便改良我們的自身的問題，所以需要出格關注404,301等狀況碼。
真假蜘蛛分辯
為什么會呈現真假蜘蛛，主若是因為此刻信息興旺，良多采集工具為不讓對方發現自己的痕跡都模擬蜘蛛的痕跡來下載數據源。所以會造成良多seoer誤認為蜘蛛年夜量的抓取頁面卻發現收錄并未增添的現象。下面筆者告訴巨匠斗勁輕易辨當真假蜘蛛和一些出格注重的處所。
1， 真蜘蛛
220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
這是筆者某網站的日志片段，我拿出ip，在win系統下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：
如上圖，若是百度蜘蛛，他會直接回顯百度的域名。
2， 假蜘蛛
假蜘蛛斗勁經典的就是chinaz的發芽工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未呈現百度域名。有樂趣的可以nslookup 125.90.88.96下，筆者就一直圖了。
一般假蜘蛛的存在形式為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
看著跟真的一樣，唯獨ip就是貓膩！
3， 奸細作況的蜘蛛
1) cdn加速后，造成ip雜亂。
此類情形呈現一般是網站在做了cdn加速后，再去查看apache處事器的訪謁日志的時辰發現良多蜘蛛的痕跡ip都很是的近似，如不美觀按照百度官方出的分辯手法nslookup ip 后必定為匿名，因為這些ip都是cdn節點ip，所以會造成曲解。若開啟cdn后，蜘蛛現實訪謁次數一般都<=日志中蜘蛛總數值。
2) 百度匿名蜘蛛的存在性談判。
匿名蜘蛛？百度工程師lee一向強調百度蜘蛛是不會匿名去訪謁網站的，但筆者年夜網上查閱資料，加上筆者某個站的數據猜測，筆者認為會有兩種情形:
第一種：假如真的存在匿名蜘蛛，這很較著與lee的話有悖。所以這點我們可以去辯證的去理解，假如存在，匿名蜘蛛會做什么，良多seoer包短文者都猜測可能會存在用此類蜘蛛去驗證網站是否對蜘蛛與用戶做了分歧的待遇。所以此種情形，做賊就不要心虛嘛，老誠懇實做站吧。
推薦閱讀
>>>詳細閱讀
本文標題：<b>小蘇:由淺到深再談網站原始訪問日志分析</b>
地址：http://www.geekbao.cn/a/22/20120418/52246.html
網友點評
精彩導讀
科技快報
品牌展示