Блокировка для робота Googlebot возможности доступа к веб-сайту может непосредственно затруднить получение и сканировать его содержимого, и, следовательно, привести к снижению его рейтинга в результатах поиска Google.
Многие веб-мастера вводят такую блокировку случайно, и даже не осознают этого, а Googlebot нуждается в доступе на сайт, чтобы скачать файл robots.txt и следовать содержащимся в нем рекомендациям.
Диагностика проблем с доступом Googlebot
Если вы подозреваете, что роботу Googlebot может быть заблокирован доступ к сайту, вы будете получать сообщения на эту тему в Инструментах для веб-мастеров:
- Ошибки индексирования – содержит список ошибок, обнаруженных Googlebot во время недавней попытки индексации веб-сайта.
- Смотреть как Google – позволяет сканировать определенную страницу и быстро просмотреть результаты (в данном случае ошибки).
Вот некоторые типичные причины отсутствия доступа Google к веб-сайту.
Проблемы с DNS
При попытке доступа к сайту не удалось установить связь с сервером DNS. Это может быть связано с недоступностью DNS-сервера или проблемами маршрутизацией DNS для этого домена.
Чтобы устранить эту проблему, убедитесь, что ваш провайдер DNS не блокирует (возможно, непреднамеренно) Googlebot.
Брандмауэры
В некоторых случаях неправильно настроенный брандмауэр или система защиты от DoS-атак (а иногда система управления контентом сайта), запрещает роботу googlebot индексацию сайта.
Системы безопасности представляют собой важный элемент качественного хостинга и часто их конфигурация вызывает автоматическое блокирование адресов, с которых к серверу передается чрезвычайно большое количество запросов.
Робот google отправляет больше запросов, чем обычный пользователь, поэтому может вызвать реакцию системы защиты, которая его блокирует и не позволяет сканировать ваш сайт.
Чтобы решить проблему данного типа, проверьте элементы инфраструктуры веб-сайта, а затем удалите блокировку Googlebot. Если вы не имеете контроля над настройками брандмауэра, пожалуйста, свяжитесь со своим поставщиком услуг веб-хостинга.
Преднамеренная блокировка
Некоторые веб-мастера намеренно препятствуют роботе googlebot, используя, например, брандмауэр. Целью, как правило, является не полная блокировка Googlebot, а управление сканированием и индексированием веб-сайта.
В таком случае ознакомьтесь с перечисленными ниже правилами:
- Для того, чтобы контролировать индексацию принадлежащего Вам контента, ознакомьтесь с пошаговой справкой о протоколе исключения для роботов, в том числе об использовании файл robots.txt и настройке параметров URL.
- Если вы опасаетесь, что посторонние роботы могут работать под видом Google, вы можете проверить робота с помощью обратного DNS-запроса.
- Чтобы настроить частоту сканирования вашего сайта Google, добавьте ваш сайт в Инструменты для веб-мастеров, подтвердите права и настройте скорость индексирования. Поставщики услуг веб-хостинга также могут подтвердить собственностью своих IP-адресов.
