robots.txtでサイト内すべてインデックスされないようにする | クズリーマンのカス備忘録

robots.txtでサイト内すべてインデックスされないようにする

拒否-logo サーバー
スポンサーリンク

拒否-logo

全ページ、全サイトエンジンからクロール拒否するrobots.txt作成

User-agent : *
Disallow : /

Webサーバに配置

DocumentRoot直下に置く。

 

robots.txtがちゃんと拒否設定できてるかテスト

Googleサチコ先生でもやれるみたいですが、サチコに登録してない場合は↓↓

こちら

コメント

タイトルとURLをコピーしました