Bot Monitor Script

Хочу сделать анонс небольшого скрипта, который определяет, когда и какой поисковый робот заходил на сайт. Ковыряться в логах сервера не совсем удобно, awstats представляет информацию не совсем так, как мне хотелось бы, поэтому и решил написать свой велосипед.

Bot Monitor Script

Не долго думая дал такое громкое название своей программке. Сокращённо — Bomos =) Написан на php, данный хранятся в mysql. Сейчас это просто три файла, один из который включается в index.php и проверяет всех входящих user-agent’ов на соответствие известным мне 34 поисковым роботам.

Роботы

Одним из самых муторных этапов было занесение в БД user-agent’ов и их описаний. Всего я на при беглом анализе собрал информацию о 34 ботах. Вот их полный список с моими фривольными комментариями, пользуйтесь на здоровье. И если возможно дополняйте.

Данные

Конечно, было бы разумнее анализировать логи Apache. Но не люблю возиться с регулярными выражениями, хотел выполнить поставленную задачу как можно быстрее. В итоге на разработку и отладку этой системы у меня ушло пару часов. Позже может и прикручу анализатор логов. Пока же буду накапливать данные и наводить лоск.

Это всего лишь анонс. Исходные коды с комментариями покажу позже, когда будет оформлен до приемлемого интерфейс и сделаю хоть какую-то защиту для размещения в паблике=)

Эта запись была «заглочена» роботом гугла меньше чем за минуту после публикации =)

Запись опубликована в рубрике Bomos с метками , , , , . Добавьте в закладки постоянную ссылку.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *