對(duì)于很多剛做網(wǎng)站優(yōu)化的SEO新人來(lái)說(shuō)，robots文件似乎是可有可無(wú)的。但是要知道，搜索引擎蜘蛛爬行的第一個(gè)文件就是robots文件。因?yàn)?a class="taglink" title="robots文件" href="/index.php?ac=search&at=taglist&tagkey=robots%E6%96%87%E4%BB%B6" target="_blank">robots文件可以告訴他，那些可以抓取，那些不可以抓取，哪個(gè)目錄可以爬行，哪個(gè)目錄不可以爬行。如果在做優(yōu)化的時(shí)候，忽略掉了robots文件文件，很容易讓自己吃虧的。

今天，小編就根據(jù)自己過(guò)往的網(wǎng)站優(yōu)化經(jīng)驗(yàn)，為大家分享一下robots文件的一下知識(shí)吧。

規(guī)則說(shuō)明：

*是指所有的意思

User-agent

爬蟲(chóng)抓取時(shí)會(huì)聲明自己的身份，這就是User-agent，如果這個(gè)規(guī)則適用于所有搜索引擎的話，寫法：User-agent：*  如果單獨(dú)適用于百度的話User-agent：Baiduspider

（附一些搜索引擎的名字：百度Baiduspider|谷歌Googlebot|360蜘蛛：360Spider|SOSO蜘蛛：Sosospider|雅虎蜘蛛：Yahoo!|有道蜘蛛：YoudaoBot|搜狗蜘蛛：Sogou News Spider|MSN蜘蛛：msnbot/msnbot-media|必應(yīng)蜘蛛：bingbot/compatible|一搜蜘蛛：YisouSpider|Alexa蜘蛛：ia_archiver|宜sou蜘蛛：EasouSpider|即刻蜘蛛：JikeSpider|一淘網(wǎng)蜘蛛：EtaoSpider）

搜索引擎爬蟲(chóng)在爬行robots文件時(shí)，會(huì)先聲明自己的身份，這就是User-agent。如果說(shuō)，這個(gè)文件是所有搜索引擎都可以訪問(wèn)的話，就應(yīng)該寫成：User-agent：*。如果是單獨(dú)允許某個(gè)搜索引擎爬行的話，如單獨(dú)允許百度爬行，就應(yīng)該寫成：User-agent：Baiduspider。

（在這里順便為大家分享一些搜索引擎的名字：百度：Baiduspider、谷歌：Googlebot、360蜘蛛：360Spider、SOSO蜘蛛：Sosospider、雅虎蜘蛛：Yahoo!、有道蜘蛛：YoudaoBot、搜狗蜘蛛：Sogou News Spider、MSN蜘蛛：msnbot/msnbot-media、必應(yīng)蜘蛛：bingbot/compatible）

DisallowDisallow 列出的是要禁止抓取的的網(wǎng)頁(yè)和規(guī)則，后面用/代表層次關(guān)系

Disallow：/（代表著禁止抓取網(wǎng)站所有內(nèi)容）

Disallow:/abc(禁止抓取abc及其層次下的內(nèi)容)

Disallow:/abc/（禁止抓取abc層次下的內(nèi)容，但是允許抓abc）

Disallow:/*.png(禁止抓取png的圖片，其他格式的也這樣寫比如禁止抓網(wǎng)站中的PPT后綴文件是Disallow：/*.PPT)

Disallow:/abc/*.png（禁止訪問(wèn)abc層次下的PNG圖片，其他格式也是）

Disallow:/*？*（屏蔽站內(nèi)所有動(dòng)態(tài)URL，因?yàn)閯?dòng)態(tài)地址都帶？所有可以用這種形式，其他的字符也可以）

Disallow:/abc/*？*（只屏蔽abc層次下的動(dòng)態(tài)地址）

Disallow:/*？/（屏蔽動(dòng)態(tài)層次下的內(nèi)容，比如有些文章或欄目是網(wǎng)址/?14125這樣URL，這樣可以讓抓取文章，也可以屏蔽后面內(nèi)容）

Disallow:/abc/*?/(屏蔽abc欄目下的動(dòng)態(tài)層次下的內(nèi)容)

其他的按照這個(gè)思路靈活使用就行了

Allow

Allow代表允許訪問(wèn)抓取的意思。

Allow一定放在disallow的前面才能不受disallow的影響，比如禁止所有動(dòng)態(tài)后，想要排除一個(gè)欄目，寫法如下：

Allow:/abc

disallow:/*?*

其他的寫法參考disallow的邏輯。

sitemap

這個(gè)蛀牙是用來(lái)告訴蜘蛛，網(wǎng)站的地圖在哪里，寫法如下：

sitemap:網(wǎng)址/sitemap.xml

Crawl-delay

這個(gè)是用來(lái)控制搜索引擎抓取頻率的。一般來(lái)說(shuō)，搜索引擎過(guò)于頻繁的來(lái)網(wǎng)站抓取，會(huì)對(duì)網(wǎng)站服務(wù)器造成一定負(fù)擔(dān)的。所以，我們需要用這個(gè)來(lái)控制搜索引擎的抓取頻率。寫法如下：

User-agent：Baiduspider

Crawl-delay：10

這句話的意思是：百度你抓取的頻率太高了，抓取一次后，需要等10秒才能進(jìn)行一下車抓取。

還有就是不讓顯示快照：

在你不想展示快照頁(yè)面的head標(biāo)簽中加入 meta name=“robots” content=“noarchive”（禁止所有搜索引擎產(chǎn)生快照）

在你不想展示某個(gè)搜索引擎出現(xiàn)快照頁(yè)面的head標(biāo)簽中加入 meta name=“360Spider” content=“noarchive”（禁止360產(chǎn)生快照，name后面的換成蜘蛛名字即可）

看到這里，是不是對(duì)robots文件有了一定了解了。其實(shí)，robots文件還有很多知識(shí)點(diǎn)的。希望下次小編有機(jī)會(huì)分享給大家吧。