一、有效節(jié)省服務(wù)器資源

通常整個(gè)網(wǎng)站會(huì)有很多搜索引擎蜘蛛爬去，而有一些并非我們想要的，這樣造成了服務(wù)器帶寬的浪費(fèi)，特別是圖片站或者一些附件較多的網(wǎng)站，robots不設(shè)置好會(huì)消耗很大的服務(wù)器資源，如果我們?cè)O(shè)置好Robots.txt屏蔽不必要的蜘蛛那么將大大節(jié)省我們的服務(wù)器資源。

二、搜索引擎爬取的指路燈

對(duì)于許多不懂的新手，設(shè)置Robots.txt文件更為重要，因?yàn)槲覀兊木W(wǎng)站文件隨著發(fā)展會(huì)不斷變得更大，網(wǎng)站文件變得越來(lái)越大可能會(huì)導(dǎo)致打開(kāi)頁(yè)面的速度相對(duì)初期網(wǎng)站打開(kāi)速度較慢，如果robots設(shè)置好的話，搜索引擎蜘蛛會(huì)很快的爬取到相應(yīng)的信息，否則就會(huì)很費(fèi)力，甚至蜘蛛過(guò)多會(huì)導(dǎo)致網(wǎng)站訪問(wèn)受到影響。

三、網(wǎng)站隱私保護(hù)

Robots可以告訴搜索引擎什么該爬取，什么不該爬取，因?yàn)槲覀兊木W(wǎng)站涉及到一些隱私的內(nèi)容，這點(diǎn)就必須要在Robots上說(shuō)明，讓蜘蛛不能抓取這些頁(yè)面信息，以保證我們網(wǎng)站的一些因素不被搜索引擎公開(kāi)。

四、對(duì)Sitemap產(chǎn)生重要作用

通常我們會(huì)在Robots中寫到 ，這樣一來(lái)也代表著我們通過(guò)Robots告訴搜索引擎跟著網(wǎng)站地圖抓取，這樣對(duì)我們的網(wǎng)站收錄增加起到非常重要的作用。

五、保護(hù)網(wǎng)站的權(quán)重不被丟失

為什么這么說(shuō)呢?因?yàn)槲覀冊(cè)诳碦obots.txt和nofollow的時(shí)候2者都有一定的相似程度，就是屏蔽蜘蛛，那么我們可以讓搜索引擎對(duì)于某個(gè)頁(yè)面不被收錄，因?yàn)槲覀內(nèi)绻兴梨溄?，那么可以用robots直接屏蔽掉，而這樣帶來(lái)的好處是不影響SEO，另外一點(diǎn)，如果某些頁(yè)面帶有版權(quán)鏈接，或者插件中含有，并非我們希望給予的，那么也可以通過(guò)Robots直接屏蔽掉保護(hù)我們的網(wǎng)站權(quán)重不被丟失。