Неожиданные ошибки отказа в доступе могут возникнуть по следующим причинам:
- Робот google не сможет получить доступ к URL на вашем веб-сайте, поскольку она требует регистрации для просмотра части или всех материалов.
Подсказка: вы можете обойти проблему, удалив это требование, когда клиентом является роботом Google.
- Ваш файл robots.txt блокирует Google доступ ко всему сайту или отдельным URL или каталогам:
- Проверьте, что ваш файл robots.txt работает, как ожидалось. Тест файла robots.txt в Инструментах для веб-мастера позволяет точно узнать, каким образом Google интерпретирует содержимое вашего файла robots.txt.
- Инструмент Смотреть как Google помогает понять, как ваш сайт выглядит с точки зрения Google. Это может быть очень полезно при решении проблем с контентом сайта или его не обнаружения в результатах поиска.
- Ваш сервер требует проверки подлинности пользователя при использовании прокси-сервера или поставщик услуг веб-хостинга блокирует доступ Google к вашему сайту.
