がんばれ!相互リンク

Feed Rss

robots.txt

07.06.2011, robots.txt, by .

robots.txt を使用してサーバーのファイルやディレクトリへのアクセスを管理する。robots.txt ファイルは、進入禁止の電子標識のようなものです。このファイルにより、Googlebot や他のクローラがクロールすべきでない、サーバー上のファイルやディレクトリを指定できます。

robots.txt 生成ツールを使用して robots.txt ファイルを生成する

  1. ウェブマスター ツールのホームページで、該当するサイトをクリックします。
  2. [サイト設定] の [クローラのアクセス] をクリックします。
  3. [robots.txt を生成] タブをクリックします。
  4. デフォルトのロボット アクセスを選択します。すべてのロボットを許可してから、次のステップでサイトへのアクセスを望まない特定のロボットを除外することをおすすめします。これにより重要なクローラを誤ってブロックするのを防ぐことができます。
  5. 追加ルールを指定します。たとえば、サイトのすべてのファイルとディレクトリを Googlebot からブロックする方法は次のとおりです。
    1. [処理] リストで [ブロック] をクリックします。
    2. [ロボット] リストで [すべてのロボット] をクリックします。
    3. [ディレクトリとファイル] ボックスに「/img/」と入力します。
    4. [ルールを追加] をクリックすると、robots.txt ファイルのコードが自動的に生成されます。
  6. ファイルをダウンロードするかコードをテキスト ファイルにコピーして、robots.txt ファイルとして保存します。ファイルをサイトの最上位のディレクトリに保存します。robots.txt ファイルは、必ずドメインのルートに置いて「robots.txt」という名前を付けてください。ロボットはドメインのルートにあるこのファイルのみを確認するので、robots.txt ファイルがサブディレクトリにある場合は無効です。たとえば、http://www.example.com/robots.txt は有効な場所ですが、http://www.example.com/mysite/robots.txt は有効な場所ではありません。

robots.txt ファイルで指定したルールはリクエストであり、強制力のある指示ではないことに注意してください。Googlebot や一般的なロボットは robots.txt ファイルの指示に従いますが、スパム、スクレーパー、その他の悪質な一部のロボットは、ファイルの指示に従わない場合があります。そのため、機密情報はサーバー上のパスワードで保護しているディレクトリに保存することをおすすめします。また、ロボットによっては robots.txt ファイルの指示を別の意味に解釈する可能性があり、ファイルに記載されたすべての指示があらゆるロボットに対して有効であるとは限りません。Google ではすべてのロボットに対して有効な robots.txt ファイルを作成するよう努めていますが、ファイルが正しく解釈されることを保証することはできません。

robots.txt ファイルが正しく機能することを確認するには、ウェブマスター ツールの robots.txt テスト ツールを使用します。

Googleサイトより引用↓以下の画像は、実際に作成したときの画面。(クリックすれば大きな画像が見れます)


検索に表示させたくないファイルは「robots.txt」で指定すると良い。

また、除外だけでなくサイトマップを検索するように指定するのも良い事だ。
「Sitemap: http://gannba.moving-information-site.com/sitemap.xml」

コメントをどうぞ

メールアドレスが公開されることはありません。 * が付いている欄は必須項目です

*

次のHTML タグと属性が使えます: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>


  プロフィール  PR:無料HP  免許合宿 格安  専門学校 学費  トキコ  中古ホイール 東京  タイヤ ノア 格安  自動車整備 夜間  アーキュレー  パワーストーン  水まわりリフォーム 千葉  小学校 教員免許 通信  サニー 日産 中古  名簿業者