Обзор сети Интернет

Интернет, социальные сети, популярные сервисы, электронная почта (e-mail) и еще немного информации о web-пространстве современного мира

Главное меню

Почему заблокирован доступ робота Googlebot к сайту

Блокировка для робота Googlebot возможности доступа к веб-сайту может непосредственно затруднить получение и сканировать его содержимого, и, следовательно, привести к снижению его рейтинга в результатах поиска Google. К сожалению, многие веб-мастера вводят такую блокировку случайно, и даже не осознают этого, а Googlebot нуждается в доступе на сайт, чтобы скачать файл robots.txt и следовать содержащимся в нем рекомендациям.

Бирка - сайт заблокирован!

Источник фото: Za3tOoOr! / CC BY-NC-ND 2.0

Когда Google обнаруживает проблему, то с помощью Инструментов для веб-мастеров сообщает проверенному владельцу сайта о блокировке.

Диагностика проблем с доступом Googlebot

Если вы подозреваете, что роботу Googlebot может быть заблокирован доступ к сайту, вы будете получать сообщения на эту тему в Инструментах для веб-мастеров:

  • Ошибки индексирования - содержит список ошибок, обнаруженных Googlebot во время недавней попытки индексации веб-сайта.
  • Смотреть как Google - позволяет сканировать определенную страницу и быстро просмотреть результаты (в данном случае ошибки).

Вот некоторые типичные причины отсутствия доступа Google к веб-сайту.

Проблемы с DNS

При попытке доступа к сайту не удалось установить связь с сервером DNS. Это может быть связано с недоступностью DNS-сервера или проблемами маршрутизацией DNS для этого домена.

Чтобы устранить эту проблему, убедитесь, что ваш провайдер DNS не блокирует (возможно, непреднамеренно) Googlebot.

Брандмауэры

В некоторых случаях неправильно настроенный брандмауэр или система защиты от DoS-атак (а иногда система управления контентом сайта), запрещает роботу googlebot индексацию сайта. Системы безопасности представляют собой важный элемент качественного хостинга и часто их конфигурация вызывает автоматическое блокирование адресов, с которых к серверу передается чрезвычайно большое количество запросов. Робот google отправляет больше запросов, чем обычный пользователь, поэтому может вызвать реакцию системы защиты, которая его блокирует и не позволяет сканировать ваш сайт.

Чтобы решить проблему данного типа, проверьте элементы инфраструктуры веб-сайта, а затем удалите блокировку Googlebot. Если вы не имеете контроля над настройками брандмауэра, пожалуйста, свяжитесь со своим поставщиком услуг веб-хостинга.

Преднамеренная блокировка

Некоторые веб-мастера намеренно препятствуют роботе googlebot, используя, например, брандмауэр. Целью, как правило, является не полная блокировка Googlebot, а управление сканированием и индексированием веб-сайта.

В таком случае ознакомьтесь с перечисленными ниже правилами:

  • Для того, чтобы контролировать индексацию принадлежащего Вам контента, ознакомьтесь с пошаговой справкой о протоколе исключения для роботов, в том числе об использовании файл robots.txt и настройке параметров URL.
  • Если вы опасаетесь, что посторонние роботы могут работать под видом Google, вы можете проверить робота  с помощью обратного DNS-запроса.
  • Чтобы настроить частоту сканирования Вашего сайта Google, добавьте ваш сайт в Инструменты для веб-мастеров, подтвердите права и настройте скорость индексирования. Поставщики услуг веб-хостинга также могут подтвердить собственностью своих IP-адресов.


  • Категория:
  • Автор:
  • Рейтинг:
    0.0/0

Никто не решился оставить свой комментарий.
Будьте первым, поделитесь мнением с остальными.
avatar