Bot Monitor Script

Хочу сделать анонс небольшого скрипта, который определяет, когда и какой поисковый робот заходил на сайт. Ковыряться в логах сервера не совсем удобно, awstats представляет информацию не совсем так, как мне хотелось бы, поэтому и решил написать свой велосипед.

Bot Monitor Script

Не долго думая дал такое громкое название своей программке. Сокращённо — Bomos =) Написан на php, данный хранятся в mysql. Сейчас это просто три файла, один из который включается в index.php и проверяет всех входящих user-agent’ов на соответствие известным мне 34 поисковым роботам.

Роботы

Одним из самых муторных этапов было занесение в БД user-agent’ов и их описаний. Всего я на при беглом анализе собрал информацию о 34 ботах. Вот их полный список с моими фривольными комментариями, пользуйтесь на здоровье. И если возможно дополняйте.

Данные

Конечно, было бы разумнее анализировать логи Apache. Но не люблю возиться с регулярными выражениями, хотел выполнить поставленную задачу как можно быстрее. В итоге на разработку и отладку этой системы у меня ушло пару часов. Позже может и прикручу анализатор логов. Пока же буду накапливать данные и наводить лоск.

Это всего лишь анонс. Исходные коды с комментариями покажу позже, когда будет оформлен до приемлемого интерфейс и сделаю хоть какую-то защиту для размещения в паблике=)

Эта запись была “заглочена” роботом гугла меньше чем за минуту после публикации =)

Эта запись была опубликована в рубрике Bomos и отмечена метками , , , , . Добавить в закладки ссылку.

Оставить комментарий

Ваш email не будет опубликован. Обязательные поля отмечены *

Вы можете использовать это HTMLтеги и атрибуты: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>