# User-agent
# 検索ロボットの指定をします。
# 例）すべてに対して有効
# User-agent: *
# 例）Googleのみの場合
# User-agent: Googlebot

User-agent: *

# Disallow: /ディレクトリ名 で
# その指定ディレクトリ内を巡回しなくなります。
# Disallow: /*.gif$ という指定により
# GIF画像を検索対象としないという設定も出来ます。
#
# Disallow: / とだけ記述するとすべてが巡回できなくなりますので注意！