あるとき「御社をGoogleで検索したら…関係ない画像が御社名義で引っかかってくるよ？」とご指摘いただいた。
たしかに…Googleで検索すると思わぬ画像がヒットするけど、これってご提案用サイトとして立ち上げた現在校正中の案件の画像だ。
WordPressは「インデックスしない」設定になっているから安心していたけど…

自社サイトをWordPressで運用していると、「まだ公開したくない」「社内向けの情報なので検索に出したくない」というケースがあるかもしれません。そんなときに役立つのが「robots.txt」というファイルです。

本記事では、検索エンジンに意図しないページをインデックスされないようにするためのrobots.txtの使い方について、初心者の方にもわかりやすく解説します。

そもそもrobots.txtとは？

robots.txtとは、Webサイトのルートディレクトリに設置するテキストファイルのこと。検索エンジンのクローラー（Googlebotなど）に対して、「どのページを見てもいいか／見てはいけないか」を伝える役割を持っています。
簡単に言えば、「ここは見ないでね」と検索ロボットに指示を出すためのルールブックのようなものです。

WordPressとrobots.txtの関係

WordPressで構築されたサイトでも、robots.txtは非常に有効です。
例えば以下のようなケースで活用されます：

• 検索結果に表示したくないテストページや準備中のコンテンツがある
• wp-adminなどの管理ディレクトリをクロールさせたくない
• 検索結果の重複を防ぎたい（カテゴリページやアーカイブページなど）

書き方の例（サイトURL：https://example.com/）

User-agent: *
Disallow: /wp-admin/
Disallow: /images/staff_01.jpg
Disallow: /movie/staff_01.mp4

Sitemap: https://example.com/sitemap.xml

User-agent はクローラーの名前（＊はすべてのクローラーを意味します）
Disallow はアクセスを許可しないディレクトリやページのパスです

Google検索から特定ページを除外するには？

もし「Google検索に出したくないページ」が明確に決まっている場合は、以下のような記述をrobots.txtに加えます。

User-agent: *
Disallow: /secret-page/
Disallow: /category/private/

これにより、/secret-page/ や /category/private/ 以下のページはGooglebotにクロールされなくなります。
ただし、すでにインデックスされたページを削除したい場合は、robots.txtだけでは不十分です。その場合はGoogle Search Consoleの「削除ツール」を併用する必要があります。Google Search Consoleにログインして「インデクス作成」の最下部【削除】から、削除したいURLをリクエストしてください。

WordPressでrobots.txtを編集する方法

管理画面から編集（プラグインを利用）

「Yoast SEO」や「All in One SEO」などのSEOプラグインを使えば、管理画面上からrobots.txtを簡単に編集できます。

FTP経由で直接編集

サーバーにアクセスできる場合は、WordPressのインストールディレクトリ（通常はpublic_html）にあるrobots.txtファイルを直接編集・アップロードします。

注意！robots.txtで「非公開」は保証されない

重要なポイントとして、robots.txtで「Disallow」しても、そのページ自体のURLは誰でも知ることができれば直接アクセスできてしまいます。
つまり「セキュリティ的な非公開」にはなりません。

• 検索結果に出さない → robots.txtで対応OK
• URL自体を見せたくない → パスワード保護やIP制限を使うべき

IP制限には.htaccessなどを用いて設定します。

よくある設定例

サイト全体をクロールさせたくない場合

User-agent: *
Disallow: /

※開発中のサイトなどで一時的に設定する場合に便利です。

まとめ：robots.txtは“見せない”ための第一歩

WordPressサイトにおいて、意図しないページが検索エンジンに掲載されてしまうと、ユーザー体験を損ねたり、情報漏えいのリスクにもつながります。
robots.txtは簡単に設定できる分、正しい理解と使い方が大切です。

もし、「このページは出していい？」「この記述で正しい？」と不安な場合は、Search Consoleの「robots.txtテスター」などを使って事前に確認するのがおすすめです。