Длительное время загрузки страниц, ведущее к превышению времени ожидания запросов, может быть вызвано следующими проблемами:
- Динамические страницы генерируются слишком медленно. Рекомендуем использовать короткие и малочисленные параметры.
- Сервер со страницей может не работать, перегружен или неправильно настроен. Если проблема сохранится, свяжитесь со своей веб-хостинг компанией и подумайте над увеличением возможности обработки запросов к вашему сайту.
Ваша страница, возможно, умышленно или случайно заблокирована в Google. Это может быть связано с неправильной настройкой службы DNS, а в некоторых случаях плохо настроенным брандмауэром или системой защиты от фишинговых атак (DoS, Denial of Service). Иногда проблему может также вызывать система управления контентом сайта.
Системы безопасности представляют собой важный элемент правильного хостинга и нередко их конфигурация вызывает автоматическую блокировку адресов, через которые к серверу передается чрезвычайно большое количество запросов. Робот Google часто отправляет больше запросов, чем обычный пользователь, поэтому может вызвать реакцию системы защиты, которая блокирует его и не позволяет сканировать ваш сайт.
Некоторые веб-мастера намеренно препятствуют роботу googlebot. Целью, как правило, не является полная блокировка Googlebot, а управление сканированием и индексированием веб-сайта.
В таком случае ознакомьтесь с перечисленными ниже правилами техники безопасности:
- Для того, чтобы контролировать индексацию принадлежащих Вам страниц используйте протокол исключений для роботов, в том числе файл robots.txt и параметров в URL-адресе.
- Чтобы изменить частоту, с которой робот Googlebot сканирует ваш сайт, вы можете сделать через настройки в Инструментах для веб-мастеров.
