robots.txt是搜索引擎中訪問網(wǎng)站的時(shí)候要查看的第一個(gè)文件。當(dāng)搜索來爬行網(wǎng)站時(shí)候，會先看網(wǎng)站里有沒有robots這個(gè)文件，如果有這個(gè)文件，會按照robots文件給的爬行規(guī)則進(jìn)行網(wǎng)站的爬取。
　　為什么要用robots?
　　網(wǎng)站為了seo網(wǎng)站優(yōu)化肯定會有部分頁面不想被搜索抓取和收錄，如“聯(lián)系我們”“廣告合作”這時(shí)就會用到robots，來屏蔽搜索的爬取和收錄。
　　robots的基本寫法
　　1、允許所有搜索引擎訪問
　　User-agent: *
　　Disallow:
　　或者
　　User-agent: *
　　Allow: /
　　注意，可以最直接的建一個(gè)空文件 “robots.txt”然后放到網(wǎng)站的根目錄。
　　2、禁止所有搜索引擎訪問
　　User-agent: *
　　Disallow: /
　　或者
　　User-agent: *
　　allow:
　　3、禁止所有搜索引擎訪問網(wǎng)站中的幾個(gè)部分，在這里我用a、b、c目錄來代替
　　User-agent: *
　　Disallow: /a/
　　Disallow: /b/
　　Disallow: /c/
　　如果是允許，則是
　　Allow: /a/
　　Allow: /b/
　　Allow: /c/
　　4、禁止某個(gè)搜索引擎的訪問，我用w來代替
　　User-agent: w
　　Disallow: /
　　或
　　User-agent: w
　　Disallow: /d/*.htm
　　在Disallow:后面加 /d/*.htm的意思是禁止訪問/d/目錄下的所有以”.htm”為后綴的URL，包含子目錄。
　　5、只允許某個(gè)搜索引擎的訪問，我用e來代替
　　User-agent: e
　　Disallow:
　　在Disallow：后面不加任何東西，意思是僅允許e訪問該網(wǎng)站。
　　6、使用”$”限制訪問url
　　User-agent: *
　　Allow: .htm$
　　Disallow: /
　　意思是僅允許訪問以”.htm”為后綴的URL
　　7、禁止訪問網(wǎng)站中所有的動(dòng)態(tài)頁面
　　User-agent: *
　　Disallow: /*?*
　　8、禁止搜索引擎F抓取網(wǎng)站上所有圖片
　　User-agent: F
　　Disallow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .gif$
　　Disallow: .png$
　　Disallow: .bmp$
　　意思是只允許引擎抓取網(wǎng)頁，禁止抓取任何圖片(嚴(yán)格來說，是禁止抓取jpg、jpeg、gif、png、bmp格式的圖片。)
　　9、只允許搜索引擎E抓取網(wǎng)頁和.gif格式圖片
　　User-agent: E
　　Allow: .gif$
　　Disallow: .jpg$
　　Disallow: .jpeg$
　　Disallow: .png$
　　Disallow: .bmp$
　　意思是只允許抓取網(wǎng)頁和gif格式圖片，不允許抓取其他格式圖片
　　針對seo的robots高級寫法
　　頂級seo高手robots.txt的寫法
　　robots使用時(shí)的注意點(diǎn)
　　robots.txt必須放置在一個(gè)站點(diǎn)的根目錄下，而且文件名必須全部小寫。
　　針對新手使用robots
　　百度站長平臺剛升級了robots
　　可以檢測你自己制作的robots規(guī)則是否能生效。當(dāng)然基本的robots寫法你要懂，推薦中國推廣學(xué)院卡卡老師的視頻教程：robots.txt寫法
　　這樣只需掌握robots的基礎(chǔ)寫法，就能寫出高級robots。