北京網(wǎng)站建設(shè)多年網(wǎng)站建設(shè)經(jīng)驗(yàn),依托強(qiáng)大的服務(wù)優(yōu)勢(shì),為您提供專業(yè)的北京網(wǎng)站建設(shè)服務(wù)
作者:鵬飛網(wǎng)絡(luò) 時(shí)間:2010-10-31 分類:北京網(wǎng)站建設(shè)
做網(wǎng)站當(dāng)然希望搜索引擎抓取我們網(wǎng)站的內(nèi)容,但我們做SEO優(yōu)化SEO優(yōu)化時(shí)候并不希望所有的信息都公布于眾,比如后臺(tái)隱私,或者其它一些雜七雜八的信息。那么這時(shí)候我們就可以能過(guò)robots.txt文件來(lái)控制網(wǎng)站在搜索引擎中的展示,robots.txt是一個(gè)純文本文件,通過(guò)在這個(gè)文件中聲明該網(wǎng)站中不想被搜索引擎robots訪問(wèn)的部分。
帶“*”的一種寫(xiě)法:
User-agent: *Disallow: /ad*
Allow: /ad/img/
Disallow: /*.php$
Disallow: /*.jsp$
Disallow: /*.css$
這種寫(xiě)法允許所有蜘蛛訪問(wèn),但會(huì)限制以“ad”開(kāi)頭的目錄及文件,并限制抓取.php文件、.jsp文件和.css文件。其中Disallow: /ad*會(huì)連同附件目錄(即你上傳的圖片、軟件等)一起限制抓取,如果想讓搜索引擎抓取img目錄中的內(nèi)容,需要將寫(xiě)上第三行“Allow: /ad/img/“。
較合理的一種寫(xiě)法:
User-agent: *Disallow: /admin
Disallow: /content/plugins
Disallow: /content/themes
Disallow: /includes
Disallow: /?s=
Sitemap:http://m.f23jm9.cn/
采用這種寫(xiě)法允許所有搜索引擎抓取,并逐一列舉需要限制的目錄,同時(shí)限制抓取網(wǎng)站的搜索結(jié)果,最后一行代碼是你網(wǎng)站的Sitemap路徑,大多數(shù)搜索引擎都會(huì)識(shí)別它。
如果對(duì)自己寫(xiě)的robots.txt不放心,建議你使用Google管理員工具中的“工具->測(cè)試robots.txt”來(lái)對(duì)你的robots.txt進(jìn)行測(cè)試,確保你的修改正確。