Для того, чтобы полностью запретить добавление содержания страницы в индекс Google, даже если на него ведут ссылки с других сайтов, используйте метатег noindex.
Стандартные теги noindex особенно полезны, когда вы не имеете доступа к корневому каталогу вашего сервера, так что вы можете контролировать доступ к сайту на уровне отдельных страниц.
Чтобы запретить индексирование страницы вашего сайта всеми роботами, разместите следующий метатег в разделе <head> страницы: <meta name="robots" content="noindex">
Чтобы разрешить роботам индексирование страницы вашего сайта, а запретить только роботам Google: <meta name="googlebot" content="noindex">
Если на странице находится метатег noindex Google полностью исключает ее из результатов поиска, даже если на нее показывают другие страницы. Другие поисковые системы могут по-разному интерпретировать эту инструкцию. В результате ссылка на эту страницу может по-прежнему появляться в результатах поиска.
Так как Googlebot необходимо войти на сайт, чтобы прочитать метатег noindex, есть некоторый незначительный риск, что он его не найдет и, следовательно, не будет его соблюдать.
Если содержимое находится в настоящее время в индексе, оно будет удалено во время следующего сканирования. Чтобы ускорить удаление, используйте инструмент Удалить URL из набора Инструментов Google для веб-мастеров.
