Пауки Яндекса. Поисковые роботы, их IP и названия
Яндекс для создания поисковой базы давно не использует дрессированных обезьян. Поисковые роботы обходятся гораздо дешевле. Вот некоторые из них (смотрите логи доступа к сайту, поле User Agent):
Yandex/1.03.003 (compatible; Win16; D) - поисковый робот Яндекса, который заглядывает на ваш сайт после добавления в аддурилку (addurl) Яндекса - http://webmaster.yandex.ru/addurl.xml
Yandex/1.02.000 (compatible; Win16; F) - сигнатура F - сокращение от FavIcon (которое в свою очередь сокращение от "Favorite Icon", словосочетания имеющего довольно интересную историю). Этот поисковый робот Яндекса ищет на вашем сайте иконку favicon. Если ее нет в корне сайта (http://site.tld/favicon.ico), то следует meta-директиве в index-странице.
Yandex/1.01.001 (compatible; Win16; H) - поисковый робот с сигнатурой H ищет зеркала сайтов, склейки (а также из черных братьев - фишинговые странички, фейковые главные, сайты состоящие из копипаста и т.д.)
Yandex/1.01.001 (compatible; Win16; I) - Главный ваш друг и товарищ - Поисковый Робот Яндекса #1. Собственно он иногда оправдывает аббревиатуру ПРЯ, поскольку генерирует неплохую нагрузку на одном из моих больших проектов при переиндексации. Вполне возможно, что этот поисковый робот до сих пор обслуживается дрессированными обезьянами, потому что индексирует всё подряд и поддается гипнозу на провокации.
Yandex/1.03.000 (compatible; Win16; M) - робот, обращающийся при открытии страницы по ссылке "Найденные слова"
Yandex/1.01.001 (compatible; Win16; P) - Поисковый Робот Яндекса по Пикчерсам. Ищет картинки, фотки и прочее графическое оформление. Алгоритм обработки его результатов настолько темный лес, что мне даже не удавалось его ни разу обмануть...
YaDirectBot/1.0 (compatible; Win 16; I) - Этот поисковый робот - директор Отдела Роботов :) . Индексирует сайты, которые участвуют в системе контекстной рекламы Яндекс.Директ.
YandexBlog/0.99.101 (compatible; DOS3.30,B) - Робот, который индексирует xml-представления блогов и форумов, добавленных через аддурилку Яндекс.Блоги или самостоятельно найденных Яндексом. Самый быстрый робот, но самый глупый.
YandexSomething/1.0 - поисковый робот, индексирующий новостные потоки сайтов, формирующих Яндекс.Новости.
Однако в своих логах вы можете встретить и НЕиндексирующих роботов, которые лишь проверяют доступность вашего сайта. Их даже сам Яндекс назвал дятлами.
Yandex/2.01.000 (compatible; Win16; Dyatel; C) - Поисковый дятел Яндекс.Каталога. Если сайт недоступен в течение нескольких дней(иногда и часов), вредный дятел стучит на вас в Яндекс и ваш сайт убирают со страниц Яндекс.Каталога. Как только сайт начинает снова отвечать кодом 200 (т.е. будет доступен), дятлу дадут выговор за паникерство и ваш сайт автоматически появлится в Каталоге.
Yandex/2.01.000 (compatible; Win16; Dyatel; D) - Рекламный дятел от Яндекс.Директ. Бдит за доступностью рекламных объявлений на сайте партнеров Яндекс.Директа.
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) - Дятел Яндекс.Закладок. Его появление на сайте и функции покрыты мраком. Быть может ранжирование сайта зависит от этого дятла?
Неплохой список получился. Как-нибудь добавлю пост о забугорных поисковых роботах.
p.s. материал статьи составлен по материалам выдачи Google и находящимся в его кэше. =]