create-react-appでReactプロジェクトを作るとpublicフォルダーに自動的に下記のrobots.txtが作成されます。
内容を見ると
# https://www.robotstxt.org/robotstxt.html User-agent: * Disallow:
User-agent: *
すべてのクローラーを許可する
Disallow:
何も書いてない = サイト内の全てのWebページの分析を許可する
※クローラーとは？
GoogleやYahooなど検索サイトに表示するためにウェブページを分析するロボット
Google Search Consoleに登録失敗した理由
# https://www.robotstxt.org/robotstxt.html User-agent: * Disallow: /
Disallow: / になっている。この設定は全てのページを許可しないってことになる
前回ポートフォリオページが未完成だったから一時的にDisallowにしたのを忘れていてなんでだろうと思った。
今はDisallow:/ → Disallow: にして対応して登録済
