Уважаемые посетители, компания "Рэдлайн" предлагает проведение аудита Вашей отрасли БЕСПЛАТНО!!! Бесплатный маркетинговый аудит Вашего существующего сайта, анализ Вашего присутствия и анализ отрасли в Интернете - это подтвержденные нашим опытом и различными сервисами данные о Вашем существующем или потенциальном интернет-представительстве.

Для запрета индексации вашего сайта или определенных разделов ресурса поисковыми ботами используется два метода: добавление мета тегов на страницу либо создание файла robots.txt. Часто вебмастера сталкиваются с вопросом о юзер-агенте ботов той или иной поисковой системы. Зная значения User-agent для поисковых ботов, можно запретить, либо наоборот, открыть доступ тому или иному боту, например следующими строками:

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Верхние строки запретят всем ботам индексировать контент, кроме бота AdSense (если на сайте показываются объявления AdSense).

Ниже приведен список наиболее часто встречаемых ботов, принадлежащих известным поисковым системам.

Примечание:
У некоторых крупных поисковых систем помимо основных поисковых ботов существуют также роботы для индексации блогов, новостей, изображений и т.д. Вот некоторые из них:

Googlebot-Mobile выполняет обход страниц для включения их в индекс для мобильных устройств.
Googlebot-Image сканирует страницы для включения в индекс картинок.
Mediapartners-Google сканирует страницы для определения содержания AdSense объявлений.
Adsbot-Google сканирует страницы для определения качества целевых страниц AdWords.
MSNBot-NewsBlogs – сканирует для поиска новостей в сети Интернет.
MSNBot-Products – сканирует для поиска продуктов, которые можно приобрести в Интернете.
MSNBot-Media – сканирует страницы для поиска мультимедийных файлов.