Если файл robots.txt не доступен и не будет возвращен код состояния HTTP 200 или 404, то поисковик откажется от индексации, чтобы не проиндексировать запрещенные URL. В такой ситуации Googlebot возвратится на ваш веб-сайт и заиндексирует ее, как только сможет успешно загрузить файл robots.txt.
Файл robots.txt необходимо только в том случае, если ваш сайт содержит контент, который поисковые системы имеют не должны индексировать. Если поисковые системы должны индексировать весь сайт, файл robots.txt – даже пустой – это излишество.
Если у вас нет файла robots.txt, сервер выдаст ошибку 404, когда робот Googlebot его запросит, и продолжит индексацию вашего сайта.
