網站上有些頁面不希望被搜索引擎收錄，我們可以使用robots的文件或者meta robots 標簽。
?
什么是meta robots 標簽？
meta robots 標簽是頁面head部分meta標簽的一種，用于指令搜索引擎禁止索引（收錄）本頁內容。
?
meta robots 標簽的寫法：
<meta name=”robots”content=”noindex,nofollow”>
標簽的意義：禁止所有搜索引擎索引本頁面，禁止跟蹤本頁面上的鏈接。
Noindex：搜索引擎不索引此網頁（可以抓取，但不出現(xiàn)在搜索結果中）。
Nofollow：?搜索引擎不繼續(xù)通過此網頁的鏈接索引搜索其它的網頁。
?
<meta name>=”robots”content=”noindex” >
標簽的意義：禁止索引本頁面，但允許蜘蛛跟蹤頁面上的鏈接，也可以傳遞權重。
使用了noindex meta robots標簽的頁面會被抓取，但不會被索引，也就是說頁面URL不會出現(xiàn)在搜索結果中，這一點與robots文件不同。
?
meta robots 標簽的作用：
1、不想讓網站被收錄使用meta robots 標簽，禁止搜索引擎索引本頁，同時禁止跟蹤頁面上的鏈接。
2、禁止索引本頁面，但是允許蜘蛛跟蹤頁面鏈接，也可以傳遞權重。
?
meta robots標簽很多搜索引擎是不支持的，只有少數(shù)搜索引擎能夠識別并按給定的值抓取。因此還是推薦用robots.txt文件來限制抓取，大家了解有關meta robots 標簽知識以及寫法。
閱讀本文的人還可以閱讀：
