有些時(shí)候,站長(zhǎng)并不希望某些頁(yè)面被抓取和收錄,如付費(fèi)內(nèi)容、測(cè)試階段的頁(yè)面、復(fù)制內(nèi)容頁(yè)面等。網(wǎng)站上不出現(xiàn)鏈接,或者使用JavaScript、Flash鏈接,使用nofollow等方法都不能保證頁(yè)面一定不會(huì)被收錄。站長(zhǎng)自己雖然沒(méi)有鏈接到不想被收錄的頁(yè)面,其他網(wǎng)站可能由于某種原因出現(xiàn)導(dǎo)入鏈接,導(dǎo)致頁(yè)面被收錄。
要確保頁(yè)面不被收錄,需要使用robots文件或Meta Robots標(biāo)簽。