對于網(wǎng)站優(yōu)化來說，搜索引擎日志分析是必不可少的一塊，無論你是收錄上百的小型網(wǎng)站，還是收錄上百萬的大中型網(wǎng)站，SEO要想做得好，都必需進行科學的日志分析，日志是發(fā)生在網(wǎng)站服務器上的所有事件的記錄，包括用戶訪問記錄，搜索引擎抓取記錄，對于一些大型網(wǎng)站來說，每天的日志都有好幾個G大小的，我們可以使用linux命令去進行分離的，在大型網(wǎng)站日志文件往往是機密文件，一般人是看不到的，因為從日志里邊可以分析訪客趨勢、地區(qū)趨勢等，我們做SEO的不需要那么多數(shù)據(jù)，我們只要分析搜索引擎的抓取記錄這一塊就可以了，所以再大的數(shù)據(jù)量，如果經(jīng)過處理后，也就不會特別大了，況且現(xiàn)在的硬盤這么便宜，存儲日志文件還是可以考慮的。那么我們主要分析日志的什么數(shù)據(jù)呢?
1、每個搜索引擎的總體抓取量(以及趨勢)
在日志文件中，明確的記錄了每個搜索引擎的抓取量，例如百度、谷歌、搜狗等搜索引擎的抓取記錄，我們都可以進行記錄，使用DOS命令或者Linux命令都可以去實現(xiàn)的，搜索引擎的收錄是由抓取量以及文章質量來決定的，當文章質量不變的情況下，蜘蛛抓取量越大，那么收錄的就會越多，我們在進行日志分析 時候，一定要清楚的知道蜘蛛每天的抓取量到底是一個什么情況，而且每天都要記錄，也許絕對值說明不了什么，我們可以去看它的趨勢，當某一天抓取量的趨勢在下降時，我們就要去找原因了。
2、記錄搜索引擎蜘蛛的不重復抓取量
上一步我們把蜘蛛的抓取量數(shù)據(jù)給分析出來了，然后我們要進行去重，也就是搜索引擎的唯一不重復抓取量，其實對于收錄來說，許多頁面只要抓取一次就可以了，可是在實際操作的過程當中，許多頁面都是被重復抓取的，谷歌的技術比較先進一些，重復抓取率也許會低一些，可是百度等搜索引擎，重復抓取率卻非常高，你通過日志分析就可以看出來了，一天如果抓取量上百萬，可能好幾萬次都是抓取首頁的，所以許多數(shù)據(jù)你一定要去分析的，當你分析了后，你才會知道問題的嚴重性。
3、每個目錄、每個搜索引擎的抓取量
上邊兩步把總體抓取量、不重復抓取量記錄下來了，然后我們要分析出每個搜索引擎對每一個目錄的抓取情況是怎么樣的，這樣利于進行分塊優(yōu)化，例如當你網(wǎng)站流量上升時，你可以知道是哪個目錄的流量上升了，然后再往下推，看看是哪個目錄的抓取量上升了，哪個目錄的抓取量下降了，為什么下降，都可以進行分析的，然后在網(wǎng)站中進行適當?shù)逆溄咏Y構調整，例如使用nofollow標簽等。
4、統(tǒng)計搜索引擎抓取的狀態(tài)碼
當搜索引擎抓取了你的頁面后，不但抓取了你的內容，而且還會有一個抓取返回碼的，這些返回碼我們要記錄下來，特別是一些類似301、404、500等這些狀態(tài)碼，我們從這些狀態(tài)碼中我們找出網(wǎng)站的一些潛在的問題，例如為什么會出現(xiàn)很多404頁面，是程序原因，還是搜索引擎在抓取外鏈的時候提取錯誤，其實我們可以在谷歌管理員工具中看到這些數(shù)據(jù)的，里邊還會提示你的錯誤的404頁面出現(xiàn)在哪里，對于一些301狀態(tài)碼我們也要注意了，看下這些301是不是按照我們所希望的那樣跳轉的，網(wǎng)站中要盡量的少用跳轉，頁面在跳轉的時候，往往會延長頁面的加載時間，最常見的301可能就是網(wǎng)頁URL不帶"/"的跳轉到帶“/”的情況了，我們在網(wǎng)站中，要盡量的避免出現(xiàn)這樣的情況。
5、統(tǒng)計搜索引擎蜘蛛來的次數(shù)、來的時間
我們可以使用一些日志分析工具，設定一個標準，例如光年日志分析工具，可以統(tǒng)計出每個搜索引擎蜘蛛每天來的次數(shù)，一天一共在我們網(wǎng)站停留了多久，有沒有IP蜘蛛一天24小時都在我們網(wǎng)站不停的抓取，這樣的蜘蛛越多越好，往往是你網(wǎng)站權重提升的表現(xiàn)。這樣的數(shù)據(jù)可以每天都記錄下來，在一定的時間段內，進行對比分析，看看停留的時間是不是增加了，來的次數(shù)是不是增多了，這樣可以判斷出網(wǎng)站權重是上升還是下降。
當然可以從日志里邊看出的SEO指導數(shù)據(jù)還有很多，這里我暫時辦列舉出這么多，希望能夠起到一個拋磚引玉的作用，大家可以往下思考，進行延申，在平時的SEO數(shù)據(jù)分析工作中，一定要養(yǎng)成分析日志的習慣，平時如果有時間，可以多看看日志文件，例如可以去大概的看下搜索引擎蜘蛛在你頁面上的抓取軌跡，看看有什么規(guī)律，這對你日后的SEO工作都非常用幫助的。以上內容由www.jieyitongcy.com 捷易通自動充值軟件在admin5首發(fā),轉載請保留網(wǎng)址，謝謝!
推薦閱讀
論壇簽名是作為我們優(yōu)化人員使用最多的一種建設外鏈的方法之一。其能這么受到青睞的原因主要是因為其建設門檻低而且見效快，很多優(yōu)化人員在接觸優(yōu)化的最初都是從外鏈建設開始的，而對于外鏈建設的方法又是從論壇簽名>>>詳細閱讀
本文標題：淺談搜索引擎日志分析
地址：http://www.geekbao.cn/a/34/20120319/41663.html
網(wǎng)友點評
精彩導讀
科技快報
品牌展示