Друзей и врагов нужно знать в лицо. Давайте посмотрим на «агентов» главного кормильца вебмастеров рунета, Яшки.Яндекс использует несколько видов роботов с разными функциями. Идентифицировать их можно по строке User-agent:
- Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму "Добавить URL”
- Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon)
- Yandex/1.01.001 (compatible; Win16; H) – определение зеркалов сайтов
- Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот
- Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке "Найденные слова”
- Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок
- YaDirectBot/1.0 (compatible; Win 16; I) – индексация страниц сайта, участвующего в рекламной сети Яндекса
- YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
- YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей
Ещё у Яндекса есть "простукивалки”, которые проверяют доступность документов:
- Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Если сайт недоступен в течение нескольких дней, он снимается с
публикации. Как только сайт начинает отвечать, он автоматически
появляется в Каталоге.
- Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Она
проверяет корректность ссылок из объявлений перед модерацией.
- Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.
|