Почему робот Google не может получить доступ к страницам сайта

Россия+7 (910) 990-43-11
Обновлено: 2023-06-28

Блокировка для робота Googlebot возможности доступа к веб-сайту может непосредственно затруднить получение и сканировать его содержимого, и, следовательно, привести к снижению его рейтинга в результатах поиска Google.

Многие веб-мастера вводят такую блокировку случайно, и даже не осознают этого, а Googlebot нуждается в доступе на сайт, чтобы скачать файл robots.txt и следовать содержащимся в нем рекомендациям.

Бирка – сайт заблокирован

Диагностика проблем с доступом Googlebot

Если вы подозреваете, что роботу Googlebot может быть заблокирован доступ к сайту, вы будете получать сообщения на эту тему в Инструментах для веб-мастеров:

  • Ошибки индексирования – содержит список ошибок, обнаруженных Googlebot во время недавней попытки индексации веб-сайта.
  • Смотреть как Google – позволяет сканировать определенную страницу и быстро просмотреть результаты (в данном случае ошибки).

Вот некоторые типичные причины отсутствия доступа Google к веб-сайту.

Проблемы с DNS

При попытке доступа к сайту не удалось установить связь с сервером DNS. Это может быть связано с недоступностью DNS-сервера или проблемами маршрутизацией DNS для этого домена.

Чтобы устранить эту проблему, убедитесь, что ваш провайдер DNS не блокирует (возможно, непреднамеренно) Googlebot.

Брандмауэры

В некоторых случаях неправильно настроенный брандмауэр или система защиты от DoS-атак (а иногда система управления контентом сайта), запрещает роботу googlebot индексацию сайта.

Системы безопасности представляют собой важный элемент качественного хостинга и часто их конфигурация вызывает автоматическое блокирование адресов, с которых к серверу передается чрезвычайно большое количество запросов.

Робот google отправляет больше запросов, чем обычный пользователь, поэтому может вызвать реакцию системы защиты, которая его блокирует и не позволяет сканировать ваш сайт.

Чтобы решить проблему данного типа, проверьте элементы инфраструктуры веб-сайта, а затем удалите блокировку Googlebot. Если вы не имеете контроля над настройками брандмауэра, пожалуйста, свяжитесь со своим поставщиком услуг веб-хостинга.

Преднамеренная блокировка

Некоторые веб-мастера намеренно препятствуют роботе googlebot, используя, например, брандмауэр. Целью, как правило, является не полная блокировка Googlebot, а управление сканированием и индексированием веб-сайта.

В таком случае ознакомьтесь с перечисленными ниже правилами:

  • Для того, чтобы контролировать индексацию принадлежащего Вам контента, ознакомьтесь с пошаговой справкой о протоколе исключения для роботов, в том числе об использовании файл robots.txt и настройке параметров URL.
  • Если вы опасаетесь, что посторонние роботы могут работать под видом Google, вы можете проверить робота с помощью обратного DNS-запроса.
  • Чтобы настроить частоту сканирования вашего сайта Google, добавьте ваш сайт в Инструменты для веб-мастеров, подтвердите права и настройте скорость индексирования. Поставщики услуг веб-хостинга также могут подтвердить собственностью своих IP-адресов.

5.0/4