robots.txtとは検索エンジンのクローラー(ロボット)のクロール制御を行うために、Webサイトのルートディレクトリに設置するファイルのことです。
Googleを始めとする検索エンジンのクローラーは、Webサイトのクロールを開始する前にまずこのrobots.txtにアクセスして、そこに記述されている制御内容を確認します。
クロールを制御する理由は主に2つで、クローラーのクロールバジェットが有限のため、必要のないページにアクセスしてリソースを無駄にしないため。もう一つは、特定のクローラーにはサイトにアクセスしてほしくない場合があるためです。
robots.txtの詳しい書き方等は下記の記事を御覧ください。
robots.txtの書き方解説「クローラーを制御してインデックス効率化する」
用語一覧
A~XZ
- ABMとは
- Above the foldとは
- alt属性とは
- <a>タグとは
- CPAとは
- CPCとは
- CSSとは
- CVRとは
- Googleハネムーンとは
- h1とは
- htmlサイトマップとは
- IPアドレスとは
- MEOとは
- meta descriptionとは
- nofollow属性とは
- noindexとは
- QDDとは
- QDFとは
- ROASとは
- robots txtとは
- Search Console(サーチ・コンソール)とは
- SEOキーワードとは
- title要素とは