robots.txtファイルとは？

robots.txtファイルは、検索エンジンのクローラーに対して、サイト内のどのページやファイルへのリクエストを許可または禁止するかを指示するものです。robots.txtファイルはウェブ標準のファイルで、ほとんどの適切なボットは特定ドメインへのリクエストを行う前にこのファイルを読み込みます。

例えば、CMSや管理画面、eコマースのユーザーアカウント、一部のAPIルートなど、クロール（およびインデックス登録）から保護したい領域がある場合に使用します。これらのファイルは各ホストのルートに配置する必要があります。または、ルートの/robots.txtパスをリダイレクト先URLに転送することも可能で、ほとんどのボットはそれに従います。

Next.jsプロジェクトにrobots.txtファイルを追加する方法

Next.jsの静的ファイル配信機能を利用すると、簡単にrobots.txtファイルを追加できます。ルートディレクトリのpublicフォルダ内にrobots.txtという名前の新しいファイルを作成します。ファイルの内容例は以下の通りです：

//robots.txt
 
# /accountsへのすべてのクローラーをブロック
User-agent: *
Disallow: /accounts
 
# すべてのクローラーを許可
User-agent: *
Allow: /

yarn devでアプリを実行すると、http://localhost:3000/robots.txtでこのファイルにアクセスできるようになります。なお、publicフォルダ名はURLに含まれない点に注意してください。

publicディレクトリの名前は変更しないでください。この名前は変更できず、静的アセットを配信するための唯一のディレクトリです。

さらに詳しく

• Google: robots.txtファイルの作成と送信