Robots.txtジェネレーター
検索エンジンクローラー用のrobots.txtファイルを生成します。
プレビュー
ユーザーエージェントブロック
おすすめのツール
役に立つかもしれない厳選されたツール
検索クローラーを案内するrobots.txtファイルを作る
概要
robots.txtファイルは、検索エンジンのクローラーにサイトのどの部分へアクセスしてよいか否かを伝えます。ドメインのルートに置かれ、行儀のよいボットがクロール前に最初に確認するものです。このジェネレーターは簡単な選択 — どのパスを許可・拒否するか、サイトマップの場所 — から有効なrobots.txtを作り、構文を覚える必要をなくします。
使い方（ステップ）
- 1
規則を選ぶ
規則が適用されるuser-agentと、許可・拒否するパスを選びます。
- 2
サイトマップを追加
任意でサイトマップURLを入れ、クローラーが全ページを見つけられるようにします。
- 3
robots.txtとして保存
生成されたテキストをrobots.txtというファイルにコピーし、ドメインのルートにアップロードします。
仕組み
user-agent（規則が適用されるクローラー、多くは全体を表す*）を指定し、URLパスへのAllow・Disallow規則、任意でサイトマップURLを設定します。ツールはこれらを検索エンジンが期待する正確なテキスト形式に組み立てます。出力をrobots.txtというファイルにコピーし、サイトのルートにアップロードします。これはセキュリティの壁ではなく、協力的なクローラーを案内する指示の集合です。
こんなときに使う
管理・ステージング・重複ページにクローラーを入れないようにするとき。より速い発見のため検索エンジンにサイトマップを示すとき。サーバーに負荷をかける特定のボットを遮断するとき。すべて許可しつつサイトマップだけ宣言するとき。薄い・非公開のセクションをクロールさせないとき。新サイト公開用のrobots規則を設定するとき。
よくある質問
いいえ。協力的なクローラーにパスを飛ばすよう頼むだけで、ページは公開アクセス可能なままで、非準拠ボットは無視できます。本当にアクセスを制限するには認証やサーバー側の制御を使ってください。
注意事項
誤ったDisallow1行がサイト全体を検索から隠すことがあります。パスを再確認し、robots.txtは公開される点を忘れないでください。誰でも読めるので、隠したい秘密のURLを列挙しないこと。