Robots.txt ジェネレーター/ クローラー設定
オンラインで robots.txt を生成。検索エンジンクローラーのアクセスルールを設定。
robots.txt
このツールは役に立ちましたか？
よくある質問
Robots.txt とは？
ウェブサイトルートに置くテキストファイルで、クローラーにアクセスしてよいページを伝えます。
Disallow と Allow の違いは？
Disallow はアクセス禁止、Allow はアクセス許可を示します。
なぜサイトマップを宣言するのか？
robots.txt でサイトマップURLを宣言すると、検索エンジンがより早く発見できます。