Robots文件是網站和蜘蛛軌范之間的“正人和談”——robots文件不僅僅可以節約網站的資本，還可以輔佐蜘蛛加倍有用的抓取網，年夜而提高排名。
1：只許可谷歌bot
如不美觀要阻擋除谷歌bot之外的所有爬蟲：
User-agent：*
disallow：/
Uer-agent：許可的蜘蛛名
Disallow：
2：“/folder/”和“/folder”的區別
舉個例子：
User-agent：*
Disallow：/folder/
Disallow：/folder
“Disallow：/folder/”暗示阻擋的是一個目錄，該目錄文件下的所有文件不許可被抓取，可是許可抓取folder.hlml。
“Disallow：/folder”：對/folder/下的所有文件和folder.html都不能被抓取。
3：“*”匹配肆意字符
User-agent：*
暗示屏障所有的蜘蛛。當我們做了偽靜態措置之后，會同時又動態網頁和靜態網頁，網頁內容一模一樣，視為鏡態頁面，所以我們要屏障失蹤動態的網頁，可以用*號來屏障動態的網頁
User-agent：*
Disallow：/?*?/
4：$匹配網址竣事
如不美觀要阻擋以某個字符串竣事的網址，就可以使用$，例如，要阻擋以.asp竣事的網址：
User-agent：*
Disallow：/*.asp$
也可以打開斗勁優異的網站，看他們的robots文件是若何書寫的，然后按照自己的需求進行響應的改削。Robots文件可以讓蜘蛛把更多的時刻花在要抓取的內容上，所以優化robots文件是很有需要的。
本文來自東陽高復：http://mygaofu.com，轉載請注明鏈接
網友點評
精彩導讀
科技快報
品牌展示