玄佛服務網文章

羅鳴老師 QQ:649633198 點擊這里給我發消息 微信:w649633198



 

網站一定要慎用robots,不能出差錯

發布人:羅鳴 發布時間:2019年3月1日 已被瀏覽 187
  

網站一定要慎用robots,不能出差錯

robots是什么?有些小白們可能不清楚,這里我先說明一下。

robots.txt 文件可限制抓取網頁的搜索引擎蜘蛛對您網站的訪問。這些蜘蛛是自動的,它們在訪問任意網站的網頁之前,都會查看是否存在阻止它們訪問特定網頁的 robots.txt 文件。

只有當您的網站中包含您不想讓搜索引擎編入索引的內容時,才需要使用 robots.txt 文件。如果您希望搜索引擎將網站上的所有內容編入索引,則不需要 robots.txt 文件(甚至連空的 robots.txt 文件也不需要)。為了能使用 robots.txt 文件,您必須要有對您域的根目錄的訪問權限(如果您不能確定是否有該權限,請與您的網絡托管商核實)。

由以上內容可以得出,robots的相關作用及其使用條件。在這里我要強調一下,如果確定搜索引擎不抓取某些頁面的時候,再去使用robots.txt,如果你網站幾乎所有頁面都需要搜索引擎抓取的話,就請慎用robots,因為會對搜索引擎造成一定的限制,會影響收錄。而且編寫robots.txt稍有出錯就可能會被搜索引擎降權。

這里舉一個我自己的例子。前幾天由于我查看網站根目錄時候發現我之前做的robots.txt文件不見了,想來可能是當初搬家時候誤刪了,難怪搜索贏取抓取了好多不需要的頁面。所以我又重新寫了一個robots。不寫還好,一寫就出了差錯,由于我一個字符寫錯,導致搜索引擎誤判多了一個“Disallow: /*”所以就把我首頁他嗎的給降權了,由于百度快照更新的慢還沒多大關系,但是谷歌和360搜索就遭殃了。360搜索收錄量直接從2000多掉到了2個,谷歌搜索也從2000多掉到1600多,首頁直接不更新快照,而且兩個搜索引擎都識別不了我的首頁keywords和描述。如下圖:

網站robots

谷歌搜索

網站robots

360搜索

這里可以看出robots的作用有多大。所以大家慎用把。如果使用一定要編寫正確不能出差錯。

編寫robots可以使用百度站長平臺提供的robots工具。網址是:http://zhanzhang.baidu.com/robots/index

百度站長平臺可以檢測網站的robots狀態,還可以生成robots.txt。

百度站長工具robots

百度站長工具robots

尤其是可以更新你網站robots在百度的狀態。如圖:

百度站長工具robots

百度站長工具robots

1024最新地址网址2019地址一