robots.txtでサイト内すべてインデックスされないようにする

サーバー
スポンサーリンク

全ページ、全サイトエンジンからクロール拒否するrobots.txt作成

User-agent : *
Disallow : /

Webサーバに配置

DocumentRoot直下に置く。

 

robots.txtがちゃんと拒否設定できてるかテスト

Googleサチコ先生でもやれるみたいですが、サチコに登録してない場合は↓↓

こちら

スポンサーリンク

コメント