我們做優(yōu)化的人，很多看的就是看的是別人網(wǎng)站的收錄情況，從來不關(guān)心別人網(wǎng)站的禁止情況！呵呵，合肥網(wǎng)絡(luò)公司小編也很少關(guān)心這個(gè)情況，可能我們在觀察一個(gè)網(wǎng)站的質(zhì)量時(shí)，我們更多的看的是別人站的收錄情況，和外鏈情況！我們也沒必要去了解太多的有關(guān)別人禁止的情況！不過，在建站的初期我們的應(yīng)該更多的關(guān)心我們哪些東西能給人看，哪些東西禁止人看！這時(shí)，我們就要考慮我們的網(wǎng)站的Robots文件的使用！

針對Robots文件的創(chuàng)建，之前合肥網(wǎng)絡(luò)公司小編有說過，今天之所以再次拿出來講講，第一是給自己一次再次認(rèn)識和學(xué)習(xí)，第二是希望對看到這篇文章的朋友對認(rèn)識Robots文件有所幫助！

我們也都知道，在和別人換鏈接時(shí)，最怕的就是別人用JS，flash鏈接，使用nofollow等方法，這樣和你鏈接對你沒有多大作用！但如果你想限制你的不想要被搜索引擎收錄的網(wǎng)站網(wǎng)頁，也使用這種方法時(shí)，恐怕會達(dá)不到你要的效果！robots文件，就可以達(dá)到你要限制被搜索引擎收錄的效果！

搜索引擎蜘蛛訪問網(wǎng)站時(shí)通常會查看一下網(wǎng)站的根目錄下是否有一個(gè)以“robots.txt”命名的純文本文件，robots.txt的作用是用于指令搜索引擎禁止抓取網(wǎng)站的某些內(nèi)容或者允許抓取某些制定的內(nèi)容。由于有的服務(wù)器設(shè)置有點(diǎn)問題，robots文件不存在時(shí)會返回202狀態(tài)碼及一些錯誤信息，而不是404狀態(tài)碼，這有可能導(dǎo)致搜索引擎錯誤解讀robots文件信息，所以就算你要允許蜘蛛抓取所有信息，也要建一個(gè)空的 ！
下面我們把有關(guān)robots文件的注意事項(xiàng)說上幾點(diǎn)！
robots.txt文件放在根目錄下，注意如下幾點(diǎn)：
1.必須命名為：robots.txt，并且字母都是小寫，robot后面加”s”。
2.robots.txt必須放置在一個(gè)網(wǎng)站的根目錄下。如：通過http://www.vincecanales.com/robots.txt 可以成功訪問到，則說明設(shè)置成功。
3.Robots文件由記錄組成，記錄行之間必須以空行分開。
一般情況下，robots.txt里只寫著兩個(gè)函數(shù)：User-agent和 Disallow。一般格式如下：
User-agent:* Disallow:/
以上表示robots文件禁止所有搜索引擎抓取任何信息。當(dāng)然如何設(shè)置你禁止的內(nèi)容，還要看你的具體網(wǎng)站，小編這里只是點(diǎn)到為止！希望對你在以后建robots文件時(shí)，有所幫助！