robots.txt を設置して検索エンジンクローラーが巡回しないようにする

検索エンジンクローラーに指示を与えるにはサイトのトップに robotx.txt を設置します。

全クローラーを対象にクロールをさせない

（最後に空行を1行入れます）

User-agent: *
Disallow: /

HTMLヘッダーにメタタグで書く場合は、以下のように記述します。

<head>
  <meta name="robots" content="noindex, nofollow">
</head>

No.1170

05/15 08:39