robots.txtジェネレーター

robots.txtは、検索エンジンやAIクローラーなどのボットに対して、サイト内のどのページを巡回してよいか（またはいけないか）を伝えるためのテキストファイルです。サイトのルート直下（https://example.com/robots.txt）に設置します。

OpenAIのGPTBotやAnthropicのClaudeBotなど、AI学習用データ収集を行うクローラーのアクセスを制限できます。ただし、robots.txtはあくまで「お願い」であり、強制力はありません。悪意のあるクローラーは無視する場合があります。また、ChatGPTなどの回答時にサイトを引用してほしい場合は、あえて許可（Allow）する選択もあります。

いいえ。robots.txtはクロール（巡回）を制御するものであり、他サイトからのリンクなどで既にインデックスされているページの検索結果表示を確実に防ぐものではありません。検索結果に表示させたくない場合は、各ページに noindex メタタグを設定してください。

必須ではありませんが、sitemap.xmlのURLを記載しておくと、検索エンジンがサイト構造をより効率的に把握できます。既にsitemap.xmlを公開している場合は入力しておくことをおすすめします。

ダウンロードした robots.txt を、サイトのドメイン直下（例: https://example.com/robots.txt）にアップロードしてください。サブディレクトリに置いても認識されません。