解説

robots.txtで止めると検索から消える？クロール制限とnoindexを分けよう

検索結果に出したくないページを、robots.txtでブロックすればよいと思っていないかな。取得を制限することと、検索結果への登録を止めることは別の話だよ。

この記事の道しるべ 4項目

この記事ではGoogle検索を対象に、クロールとインデックスを区別する。必要なのは確認用のURL一覧。サイト全体の設定を書き換える前に、ページごとの目的を整理しよう。

読みに来ることと、検索へ登録すること

クロールは、検索エンジンがURLを取得して内容を確認すること。インデックスは、検索に使う情報として登録すること。この二つは関係するけれど同じ操作ではないよ。

robots.txtのDisallowは、対応するクローラーによる取得の制御に使う。一方noindexは、そのページを検索結果へ登録しないよう伝える指定。Googleがnoindexを認識するには、ページへアクセスしてその指定を読める必要がある。

Googleの公式説明では、robots.txtで取得をブロックしたURLについて、noindexを読めず、外部リンクなどの情報からURLだけが検索結果に現れる場合がある。

「非公開だからrobots.txtへ書く」はアクセス制限の代わりにはならないよ。robots.txt自体は公開され、すべての訪問者を止める認証機能でもない。個人情報や管理画面には、ログインなど実際のアクセス制御が必要。

反映は即時とは限らない。すでに機密情報を公開してしまった場合は、再クロールを待つだけでなく、まず公開元へのアクセスを止めよう。

URLの重複整理は別の目的なので、canonicalと301の違いも合わせて読むと整理しやすいよ。

確認日：2026年10月23日。練習例は架空のデータを使っています。

公開と変更の記録

日時は日本時間です。記載のある変更は、確認できた編集記録に基づきます。更新日の違いだけから変更内容を推測して載せることはありません。