在08年鬧得沸沸揚(yáng)揚(yáng)的關(guān)于淘寶使用robots協(xié)議屏蔽百度蜘蛛的事件，想必有經(jīng)歷過那個事件的人現(xiàn)在還記憶猶新，淘寶以有不良的商家會通過百度的進(jìn)行競價排名或者搜索引擎優(yōu)化的方式來欺騙消費(fèi)著的原因，無情的拒絕了百度的搜索引擎，而通過的方法就是使用robots協(xié)議屏蔽百度。如下圖所示。
我們可以看到，淘寶已經(jīng)在robots中拒絕了百度蜘蛛對整個站點(diǎn)的索引與收錄。事件已經(jīng)過去四年左右了，那結(jié)果真的就是百度無法抓取淘寶的頁面嗎?事實(shí)是，百度并沒有遵守robots協(xié)議，還是對淘寶的部分頁面進(jìn)行了抓取。如下圖所示。
上圖我們可以發(fā)現(xiàn)，淘寶的很多頁面還是依然被百度抓取著。對于百度為什么要不遵守robots協(xié)議，執(zhí)意進(jìn)行淘寶頁面的抓取呢?筆者認(rèn)為這是一個戰(zhàn)略方向的問題，我們都知道目前淘寶是目前國內(nèi)互聯(lián)網(wǎng)上最大的電子商務(wù)平臺，其起著舉足輕重的地位。我們繼續(xù)查了一下，在淘寶上出名的店鋪，如韓都衣舍在百度上也有不錯的排名。注意證明百度對與淘寶的關(guān)注度。同時我們發(fā)現(xiàn)淘寶近期才把名字改成天貓的淘寶商城同時也屏蔽了百度，如下圖所示。
結(jié)果是一樣的，天貓依然被抓取了。
對于這種結(jié)果的原因還有一點(diǎn)就是可能是因?yàn)樘熵埖臋?quán)重太高，于是乎百度打破協(xié)議進(jìn)行索引抓取。
另外一個不準(zhǔn)守協(xié)議的就是一淘網(wǎng)，有關(guān)注電子商務(wù)站點(diǎn)資訊的人就應(yīng)該知道，京東商城，新蛋網(wǎng)等也有通過robots進(jìn)行對一淘網(wǎng)的屏蔽，如下圖所示。但是我們依然可以在一淘中找到這些站點(diǎn)的相關(guān)頁面。
筆者認(rèn)為國內(nèi)的互聯(lián)網(wǎng)目前還處于一個相對混亂的模式，很多企業(yè)都不遵守相關(guān)的協(xié)議，這是值得我們進(jìn)行反思的，筆者認(rèn)為作為一個互聯(lián)網(wǎng)的巨頭，應(yīng)該從自我做起來起到一個互聯(lián)網(wǎng)行業(yè)的榜樣作用。本文由深圳網(wǎng)站建設(shè)http://www.zijiren.net 整理編輯，轉(zhuǎn)載請保留出處。
推薦閱讀
SEO優(yōu)化，外鏈對于提升網(wǎng)站搜索排名的作用是顯著的, 傳統(tǒng)手工做外鏈效率低，又很累，介紹幾個快速增加網(wǎng)站外鏈接數(shù)量的方法。>>>詳細(xì)閱讀
本文標(biāo)題：圖解百度與淘寶關(guān)于robots屏蔽上的那件事
地址：http://www.geekbao.cn/a/34/20120224/33992.html
網(wǎng)友點(diǎn)評
精彩導(dǎo)讀
科技快報
品牌展示