Как правило, после получения запроса предоставить несуществующую страницу, сервер возвращает ошибку 404 (не найдено). Этот код ответа HTTP однозначно указывает браузерам и поисковым системам об отсутствии страницы.
Информация об ошибке 404
Вернув код 404, в ответ на запрос предоставить несуществующую страницу, сервер также отображает страницу с ошибкой 404. Это может быть стандартное сообщение «файл не найден» или специально созданная страница для передачи пользователю дополнительной информации.
Содержимое страницы, совершенно не связано с ответом HTTP. Присутствие на сайте сообщения, информирующего об ошибке 404, а не файла не означает, что это действительно страница ошибки 404.
Это можно сравнить с жирафом, носящим значок со словом «собака». Наклейка сообщает о том, что это собака, но это вовсе не должно означать, что это животное действительно собака. Также страница с сообщением об ошибке 404 не означает, что сервер возвратил ошибку 404.
Чтобы проверить, существует ли для данного URL возврат правильного кода, вы можете использовать функцию Смотреть как googlebot (или другого инструмента, доступного в интернете).
Возврат кода отличного от 404 или 410 в случае несуществующей страницы (или перенаправление пользователей на другой сайт, например, на главную страницу, вместо возврата ошибки 404) может быть причиной проблем. Так как сайт сообщает поисковым системам, что под этим URL существует реальная страница.
Обслуживание несуществующих страниц Google может вызвать задержку обнаружения уникальных URL или уменьшить частоту их посещения, что влияет на диапазон сканирования вашего сайта.
Рекомендуется, чтобы сервер, всегда возвращал код ответа 404 (не найдено) или 410 (страница не существует) в ответ на запрос предоставить несуществующую страницу. Вы можете повысить удобство для пользователей, создав информативную страницу с ошибкой 404. Например, создайте страницу, содержащую список наиболее популярных страниц на сайте, ссылку на главную страницу или ссылку, чтобы отправить нам отзыв.
Главное помните, что создание страницы с сообщением об ошибке 404 недостаточно. Вы также должны настроить возврат правильного кода ответа HTTP 404 или 410.
