robots.txtでサイト内すべてインデックスされないようにする

全ページ、全サイトエンジンからクロール拒否するrobots.txt作成

User-agent : *
Disallow : /

Webサーバに配置

DocumentRoot直下に置く。

robots.txtがちゃんと拒否設定できてるかテスト

Googleサチコ先生でもやれるみたいですが、サチコに登録してない場合は↓↓

こちら