34 поисковых бота

Вот набросал список ботов, которые гуляют по рунету. Источники: http://help.yandex.ru/webmaster/?id=995329 и access log моего блога.

id name user-agent info
1 Baiduspider+ Baiduspider+(+http://www.baidu.com/search/spider.htm) робот китаец
2 AportCatalogRobot AportCatalogRobot/2.0 Робот каталога Апорта.
3 Googlebot Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) основной робот гугла
4 зеркальщик яндекса Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) робот заркальщик, говорят один из самых редких и медлиттельных гостей. чтоже, время покажет=)
5 bingbot Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Робот бинга. http://www.bing.com/bingbot.htm
6 Yahoo! Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) Ну, Яху вы думаю знаете. http://help.yahoo.com/help/us/ysearch/slurp
7 MJ12bot Mozilla/5.0 (compatible; MJ12bot/v1.3.3; http://www.majestic12.co.uk/bot.php?+) понимает Crawl-Delay и запреты в robots.txt http://www.majestic12.co.uk/bot.php?+
8 Yandex/1.01.001 Yandex/1.01.001 (compatible; Win16; I) непонятно что. вроде как раньше такой у яши был, но теперь по оф. данным не его. М.б. кто-то им прикидывается
9 YandexBot Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) основной индексирующий робот яндекса
10 YoudaoBot Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/; ) http://www.youdao.com/help/webmaster/spider/
11 DoCoMo DoCoMo/2.0 P901i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/door/crawler.html) какой-то мобильный япошка, косящий под гугл http://help.goo.ne.jp/door/crawler.htm
12 SiteBot Mozilla/5.0 (compatible; SiteBot/0.1; +http://www.sitebot.org/robot/) http://www.sitebot.org/robot/
13 SurveyBot Mozilla/5.0 (Windows; U; Windows NT 5.1; en; rv:1.9.0.13) Gecko/2009073022 Firefox/3.5.2 (.NET CLR 3.5.30729) SurveyBot/2.3 (DomainTools) http://whois.domaintools.com/
14 GeoHasher GeoHasher/Nutch-1.0 (GeoHasher Web Search Engine; geohasher.gotdns.org; geo_hasher at yahoo * com) ещё одна заморская неведомая хрень
15 Purebot Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/) что-то буржуйское. То ли каталог, то ли поисковик http://www.puritysearch.net/
16 Googlebot-Image Googlebot-Image/1.0 судя по имени индексирование картинок гуглем
17 YandexImages Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) индексатор Яндекс.Картинок
18 YandexMetrika Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) робот Яндекс.Метрики
19 awesomebot awesomebot нечто
20 YandexVideo Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) индексатор Яндекс.Видео
21 YandexMedia Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) робот, индексирующий мультимедийные данные
22 YandexBlogs Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) робот поиска по блогам, индексирующий комментарии
23 YandexFavicons Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) робот, индексирующий пиктограммы сайтов (favicons)
24 YandexWebmaster Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) робот, обращающийся к странице при добавлении ее ч
25 YandexPagechecker Mozilla/5.0 (compatible; YandexPagechecker/1.0; +http://yandex.com/bots) робот, обращающийся к странице при валидации микро
26 YandexImageResizer Mozilla/5.0 (compatible; YandexImageResizer/2.0; +http://yandex.com/bots) робот мобильных сервисов
27 YandexDirect/3.0 Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) робот, индексирующий страницы сайтов, участвующих
28 YandexDirect/2.0 Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel; +http://yandex.com/bots) «простукивалка» Яндекс.Директа. Она проверяет корр
29 YandexNews Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) робот Яндекс.Новостей
30 YandexNewslinks Mozilla/5.0 (compatible; YandexNewslinks; +http://yandex.com/bots) «простукивалка» Яндекс.Новостей. Используется для
31 YandexCatalog Mozilla/5.0 (compatible; YandexCatalog/3.0; +http://yandex.com/bots) «простукивалка» Яндекс.Новостей. Используется для
32 YandexAntivirus Mozilla/5.0 (compatible; YandexAntivirus/2.0; +http://yandex.com/bots) антивирусный робот, который проверяет страницы на
33 YandexZakladk Mozilla/5.0 (compatible; YandexZakladki/3.0; +http://yandex.com/bots) «простукивалка» Яндекс.Закладок. Используется для
34 YandexSitelinks Mozilla/5.0 (compatible; YandexSitelinks; Dyatel; +http://yandex.com/bots) «простукивалка» быстрых ссылок. Используется для п

generated 2011-11-27 01:29:18 by HeidiSQL 6.0.0.3603

Итого вышло 34 штуки (планирую дополнять), большинство значительную долю которых составляют яндексоиды. Есть и совсем загадочные экзотические персонажи, о которых при беглом поиске, не удалось добыть информации, может вы что-нибудь о них знаете?< ?p>

Эта запись была опубликована в рубрике Bomos и отмечена метками , , . Добавить в закладки ссылку.

1 в ответ на 34 поисковых бота:

  1. серж пишет:

    вот еще один бот
    Пауки: WordPress

Оставить комментарий

Ваш email не будет опубликован. Обязательные поля отмечены *

Вы можете использовать это HTMLтеги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>