robots.txt 生成ツール
robots.txt は、ルールを守るクローラーにサイトのどの部分を取得してよいかを伝えます。セキュリティ機能ではありません。ブロックした URL にもアクセスでき、他のページからリンクされていれば検索結果に表示されることさえあります。ページを検索結果から除外するには noindex タグを使ってください。
パスをテスト
すべてブラウザ内で動作します。入力内容やファイルがサーバーにアップロードされることはありません。
使い方
- 最初のプリセットを選びます。
- 拒否または許可するパスを 1 行に 1 つずつ書き、サイトマップの URL を追加します。
- いくつかのパスをテストしてから robots.txt をダウンロードし、ドメインのルートにアップロードします。
使用例
/admin/ を拒否し、サイトの他の部分はクロール可能なままにします。
オプトアウト方法を公開している GPTBot や CCBot などのユーザーエージェント向けのルールを追加します。
プライバシー
すべてブラウザ内で動作します。入力内容やファイルがサーバーにアップロードされることはありません。 ブラウザに保存される内容(お気に入りと履歴のみ)については、プライバシーポリシーをご覧ください。 プライバシーポリシー
ご自身で確認できます:ブラウザの開発者ツールを開き、「ネットワーク(Network)」タブを選んでツールを使ってください。ファイルがアップロード要求に現れることはありません。このページがオフライン用に保存された後は、インターネットを切断しても作業を続けられます。 広告と匿名の訪問統計は、有効な場合は独自に通信しますが、あなたのファイルやテキストを受け取ることはありません。
よくある質問
robots.txt はどこに置きますか?
ホストのルートです:https://example.com/robots.txt。サブドメインごとに個別のファイルが必要です。
Disallow でページは Google から消えますか?
いいえ。止まるのはクロールで、インデックスではありません。検索結果からページを除外するには noindex メタタグを使い、クロールは許可してください。
テストツールはどう判定しますか?
Robots Exclusion Protocol(RFC 9309)に従います:最も長く一致したルールが優先され、同じ長さなら Allow が優先されます。ワイルドカード * と $ に対応しています。「*」のグループをテストします。