Следует заметить, что Google – это полностью автоматизированная поисковая система, использующая программы, называемые «роботами» для индексации ресурсов сети через регулярные промежутки времени и поиска сайтов для добавления в индекс.
Действительно, подавляющее большинство веб-сайтов, встречающихся в результатах поиска не добавляются вручную, а были найдены и включены в индексацию ресурсов сети через роботов:
- Если на ваш сайт недавно был добавлен URL или содержание страницы значительно изменилось с момента последнего индексирования, вы можете отправить в Google запрос на ее сканирование и индексирование.
- Если ваш сайт предлагает специализированные продукты, услуги или контент (например, текстовый контент, видео, информацию о местных компаниях или каталоги продукции), вы можете сделать ее доступным всему миру, распространяя через Google. Более подробную информацию можно найти на странице Центр содержания в Google.
Чтобы убедиться, что сайт в настоящее время находится в индексе Google, можно произвести поиск его URL с помощью оператора site:. Например, поиск по строке [ site:google.com ] возвращает следующие результаты: http://www.google.com/search?q=site%3Agoogle.com.
Несмотря на то, что поисковая система Google сканирует миллиарды страниц, ошибки индексации некоторых сайтов неизбежны. Если роботы Google пропускают ваш сайт, чаще всего это происходит по следующим причинам:
- Сайт запущен после последнего сканирования Google.
- Структура сайта мешает поисковым роботам Google эффективно сканировать его содержимое.
- Сайт был временно недоступен, или произошла ошибка при попытке его индексации. Чтобы проверить ошибки используйте Инструменты Google для веб-мастеров.
Целью поисковой системы является справедливое и точное представление содержания интернет. Чтобы достичь этого, следуйте советам, а также подсказкам о создании сайтов, видимых для роботов. Нет никакой гарантии, что роботы найдут конкретный сайт, однако выполнение этих рекомендаций должно увеличить шансы на его появление в результатах поиска.
Следует рассмотреть возможность создания приложений и подробной карты сайта со списком страниц. Файлы sitemap позволяет сообщать о всех URL в индекс Google и получать детальные отчеты о ваших страниц в Google.
С помощью карты сайта вы можете автоматически информировать поисковую систему о всех существующих страницах сайта и любых их обновлениях. Имейте в виду, что sitemap не гарантирует, что все страницы вашего сайта будут индексироваться или включены в результаты поиска.
Передача в Google просьбы о сканировании
- На главной странице Инструментов для веб-мастеров выберите нужный сайт.
- В панели управления, в разделе Сканирование нажмите Смотреть как Google.
- В текстовом поле введите путь к странице, которую вы хотите проверить.
- В раскрывающемся списке выберите Веб.
- Нажмите Скачать. Сайт под соответствующим URL будет загружен на Google.
- При изменении состояния загрузки на Успешно нажмите Отправить в индекс, а затем выберите один из следующих вариантов:
- Чтобы загрузить в Google отдельный URL-адрес, выберите URL-адрес и нажмите Отправить. Таким образом, вы можете добавить до 500 URL в неделю.
- Чтобы отправить URL, и все страницы, на которые расположенные ссылки, нажмите URL и все связанные страницы. Вы можете отправить до 10 таких заявок в месяц.
