このページはAIで翻訳されており、ネイティブスピーカーによる確認はまだ行われていません。 英語版を読む

robots.txt 生成ツール

robots.txt は、ルールを守るクローラーにサイトのどの部分を取得してよいかを伝えます。セキュリティ機能ではありません。ブロックした URL にもアクセスでき、他のページからリンクされていれば検索結果に表示されることさえあります。ページを検索結果から除外するには noindex タグを使ってください。

パスをテスト

すべてブラウザ内で動作します。入力内容やファイルがサーバーにアップロードされることはありません。

使い方

  1. 最初のプリセットを選びます。
  2. 拒否または許可するパスを 1 行に 1 つずつ書き、サイトマップの URL を追加します。
  3. いくつかのパスをテストしてから robots.txt をダウンロードし、ドメインのルートにアップロードします。

使用例

管理画面をブロック

/admin/ を拒否し、サイトの他の部分はクロール可能なままにします。

AI 学習用クローラーを拒否

オプトアウト方法を公開している GPTBot や CCBot などのユーザーエージェント向けのルールを追加します。

プライバシー

すべてブラウザ内で動作します。入力内容やファイルがサーバーにアップロードされることはありません。 ブラウザに保存される内容(お気に入りと履歴のみ)については、プライバシーポリシーをご覧ください。 プライバシーポリシー

ご自身で確認できます:ブラウザの開発者ツールを開き、「ネットワーク(Network)」タブを選んでツールを使ってください。ファイルがアップロード要求に現れることはありません。このページがオフライン用に保存された後は、インターネットを切断しても作業を続けられます。 広告と匿名の訪問統計は、有効な場合は独自に通信しますが、あなたのファイルやテキストを受け取ることはありません。

よくある質問

robots.txt はどこに置きますか?

ホストのルートです:https://example.com/robots.txt。サブドメインごとに個別のファイルが必要です。

Disallow でページは Google から消えますか?

いいえ。止まるのはクロールで、インデックスではありません。検索結果からページを除外するには noindex メタタグを使い、クロールは許可してください。

テストツールはどう判定しますか?

Robots Exclusion Protocol(RFC 9309)に従います:最も長く一致したルールが優先され、同じ長さなら Allow が優先されます。ワイルドカード * と $ に対応しています。「*」のグループをテストします。

メタタグ生成ツールページ用の整った HTML メタタグを生成します:title、description、canonical、robots、Open Graph、Twitter Card。
正規 URL ヘルパーURL を一貫した正規形に整えます:HTTPS、www の有無、末尾スラッシュ、トラッキングパラメーターの削除。
ファビコン作成画像または文字から、favicon.ico、16〜512 pxのPNG、Apple Touchアイコン、Webマニフェスト、HTMLタグまでの完全なファビコンセットを1つのZIPで生成します。
スラッグ生成タイトルを小文字のきれいなURLスラッグに変換します。
Open Graph プレビューog:title、og:description、og:image からリンクカードをプレビューし、画像サイズとテキストの長さを確認して、Open Graph タグをコピーできます。

ツールを検索