《搜索引擎蜘蛛爬行規(guī)律探秘之一蜘蛛如何抓取鏈接》寫完距今天已經(jīng)20多天了，本來(lái)想一直寫下去呢，但是寫完第一篇之后，忽然沒(méi)有了思路。今天跟朋友們說(shuō)起來(lái)了外鏈的時(shí)效性，也就是說(shuō)外鏈會(huì)不會(huì)失效。
本文不再討論理論相關(guān)的內(nèi)容了，而是會(huì)舉一些例子來(lái)證明第一篇文章，同時(shí)也說(shuō)一下鏈接的時(shí)效性吧。
首先，外鏈所在頁(yè)面被刪除了，外鏈?zhǔn)欠裼行?
答案外鏈所在頁(yè)面刪除了依然是有效。證據(jù)如下：
我在博客中國(guó)的博客(可能是因?yàn)榱髁砍瑯?biāo)在2006年被刪除了)早就已經(jīng)被刪了，但是百度依然有快照。今天看了下首頁(yè)的快照已經(jīng)沒(méi)有了，但是文章頁(yè)面還存在。看快照日期可以看到是2006年，甚至更久的。
也就是雖然頁(yè)面被刪除了有5年之久，但是百度的快照沒(méi)有刪除，那么你說(shuō)這里面的鏈接蜘蛛會(huì)不會(huì)爬呢?
我感覺(jué)應(yīng)該是會(huì)爬的，而且我在博客網(wǎng)的這個(gè)博客是有一個(gè)域名A的鏈接的，當(dāng)時(shí)只是做了個(gè)跳轉(zhuǎn)到博客首頁(yè)。后來(lái)在我啟用域名A做博客的時(shí)候，立馬就獲得了一個(gè)很好的權(quán)重，而且文章很容易被秒收。相信這個(gè)5年前的鏈接起到了不少的作用。
第二，如果外鏈所在頁(yè)面搜索引擎沒(méi)有了快照，外鏈?zhǔn)欠裼行?
答案可能會(huì)出乎很多人的意料，外鏈所在頁(yè)面沒(méi)有了快照依然還可以有效。原因可以查看我在蜘蛛如何抓取鏈接這篇文章里寫的，蜘蛛抓取頁(yè)面之后，會(huì)把內(nèi)容和鏈接分開(kāi)，鏈接也就是URL會(huì)加入一個(gè)網(wǎng)址索引庫(kù)，而蜘蛛爬行是從這個(gè)網(wǎng)址索引庫(kù)出發(fā)的。
先看證據(jù)，這個(gè)證據(jù)來(lái)自于谷歌站長(zhǎng)工具：
這個(gè)截屏來(lái)自于Google站長(zhǎng)工具故障診斷的404報(bào)告，以前我在原網(wǎng)站下面架設(shè)了個(gè)bbs，當(dāng)然早在N年前已經(jīng)刪除了。可是這個(gè)不存在的頁(yè)面，被Google蜘蛛抓取的來(lái)源地址竟然也是不存在的頁(yè)面。而用Google搜索，是沒(méi)有這些頁(yè)面的快照的(如下圖)。那是不是意味著已經(jīng)404了很久的頁(yè)面上的導(dǎo)出鏈接依然有效?
第三，那么外鏈對(duì)于搜索引擎是否有時(shí)效性呢?
很明顯應(yīng)該是有時(shí)效性的。那么我就猜測(cè)一下外鏈?zhǔn)У脑虬桑瑧?yīng)該會(huì)有兩個(gè)原因：那就是外鏈所在頁(yè)面被刪或者鏈接被刪。
1.針對(duì)頁(yè)面被刪的情況，搜索引擎應(yīng)該會(huì)繼續(xù)爬行這個(gè)頁(yè)面上的外鏈，直到這個(gè)頁(yè)面404一定時(shí)間后，會(huì)給搜索引擎網(wǎng)址索引庫(kù)一個(gè)命令刪除這個(gè)外鏈。
2.而對(duì)于頁(yè)面更改的情況，搜索引擎應(yīng)該也會(huì)爬行這個(gè)外鏈，直到這個(gè)含有這個(gè)外鏈快照在搜索引擎內(nèi)部徹底刪除，會(huì)給網(wǎng)址索引庫(kù)一個(gè)命令刪除這個(gè)外鏈。因?yàn)楹型怄湹捻?yè)面根據(jù)情況會(huì)保存N個(gè)時(shí)期的快照，這就是為什么有時(shí)候搜不同的詞，網(wǎng)頁(yè)的快照不同。
總之，外鏈?zhǔn)怯袝r(shí)效性，但是鏈接修改或者頁(yè)面被刪除并不代表無(wú)效了。當(dāng)然搜索引擎內(nèi)部會(huì)有一個(gè)復(fù)雜的計(jì)算，過(guò)程不會(huì)像我說(shuō)的這么簡(jiǎn)單。如果有什么不同意見(jiàn)請(qǐng)直接在本文下面留言，大家互相討論。
轉(zhuǎn)載請(qǐng)注明來(lái)自逍遙博客，本文地址：http://liboseo.com/1111.html
尊重版權(quán)，轉(zhuǎn)載請(qǐng)注明出處和鏈接!
相關(guān)文章：搜索引擎蜘蛛爬行規(guī)律探秘之一蜘蛛如何抓取鏈接
推薦閱讀
A5 SEO診斷淺談百度經(jīng)驗(yàn)的提交技巧
百度經(jīng)驗(yàn)主要是分享一個(gè)事情的過(guò)程，做法，和知道不一樣。所以在做經(jīng)驗(yàn)時(shí)一定要注意經(jīng)驗(yàn)的步驟的描述，每步做法盡量做到詳細(xì)，最好概括性很強(qiáng)，能夠讓讀者立即看明白，馬上就知道應(yīng)該如何操作，今天A5 SEO診斷優(yōu)化小>>>詳細(xì)閱讀
本文標(biāo)題：搜索引擎蜘蛛爬行規(guī)律探秘之二：外鏈?zhǔn)欠裼袝r(shí)效性
地址：http://www.geekbao.cn/a/34/20111230/21640.html
網(wǎng)友點(diǎn)評(píng)
精彩導(dǎo)讀
科技快報(bào)
品牌展示