robots.txtとは

robots.txtとは検索エンジンのクローラー（ロボット）のクロール制御を行うために、Webサイトのルートディレクトリに設置するファイルのことです。

Googleを始めとする検索エンジンのクローラーは、Webサイトのクロールを開始する前にまずこのrobots.txtにアクセスして、そこに記述されている制御内容を確認します。
クロールを制御する理由は主に2つで、クローラーのクロールバジェットが有限のため、必要のないページにアクセスしてリソースを無駄にしないため。もう一つは、特定のクローラーにはサイトにアクセスしてほしくない場合があるためです。

robots.txtの詳しい書き方等は下記の記事を御覧ください。
robots.txtの書き方解説「クローラーを制御してインデックス効率化する」