Обзор сети Интернет

Интернет, социальные сети, популярные сервисы, электронная почта (e-mail) и еще немного информации о web-пространстве современного мира

Главное меню

Ошибка файла robots.txt: проблемы с индексированием сайта в Google

Перед сканирования Вашего сайта робот Google использует Ваш файл robots.txt, чтобы проверить, какие URL Ваш сайт блокирует для Google. Если Ваш файл robots.txt не доступен и не будет возвращен код состояния HTTP 200 или 404, то поисковик откажется от индексации, чтобы не проиндексировать запрещенные URL. В такой ситуации Googlebot возвратится на Ваш веб-сайт и заиндексирует ее, как только сможет успешно загрузить файл robots.txt.

Файл robots.txt необходимо только в том случае, если ваш сайт содержит контент, который поисковые системы имеют не должны индексировать. Если поисковые системы должны индексировать весь сайт, файл robots.txt - даже пустой - это излишество.

Если у вас нет файла robots.txt, Ваш сервер выдаст ошибку 404, когда робот Googlebot его запросит, и продолжит индексацию Вашего сайта.



  • Категория:
  • Автор:
  • Рейтинг:
    0.0/0

Никто не решился оставить свой комментарий.
Будьте первым, поделитесь мнением с остальными.
avatar