WebClub - Всероссийский Клуб Веб-разработчиков
WebClub.RU » Советы » Из опыта создания системы анализа посещаемости коммерческого сайта (часть 2)

Из опыта создания системы анализа посещаемости коммерческого сайта (часть 2)


Дата публикации: 11-04-2008

Автор: Олег Артемов, системный администратор компании Intersoft Lab

Подготовка данных для ClickStream Intelligence

Некоторое время назад у нашей компании появился новый коммерческий веб-сайт www.contourcomponents.com. Естественно, было интересно проанализировать статистику посещений веб-сайта, чтобы сделать выводы об эффективности рекламной кампании и определить аудиторию сайта.

Существует много способов анализа логов веб-серверов, от "tail -f" до таких богатых возможностями программ, как, например, Analog. Однако, ни один из них по каким-либо причинам не удовлетворял всех запросов. Поскольку у нашей компании есть OLAP-клиент собственной разработки - "Контур Стандарт", было решено использовать для этого именно его.

"Контур Стандарт" легко настраивается на любую базу данных, для которой существует драйвер ODBC или линк BDE. Проблема заключалась в том, что, во-первых, статистика посещений веб-сервера ведется в текстовом файле, а не в базе данных, а во-вторых, наш веб-сервер размещается у провайдера и работает под управлением операционной системы Linux (хотя операционная система не имеет большого значения).

Первая проблема решается написанием скрипта, который обрабатывает лог и копирует его в СУБД. Для второй проблемы существует два способа решения: можно вести базу прямо на веб-сервере, используя, например MySQL, и ходить к ней по TCP/IP из любого места. Но это генерирует очень большой траффик и нежелательно из-за соображений безопасности. Потому мы остановились на втором способе: периодическом копировании данных на SQL сервер, находящийся внутри локальной сети компании.

В этой статье рассказывается об одном из способов обработки логов веб-сервера и последующего копирования в СУБД, находящуюся на удаленном сервере с помощью скрипта, написанного на языке Python.

Популярное

Не так давно в сети появился новый сервис, под названием Dead Man Zero. Этот сервис сделал...
Рынок социальных площадок уже давно стал стабильным. Несмотря на то, что время от времени...
Artisteer 4 – единственный в своем роде продукт, позволяющий автоматизировать работу над созданием...
Октябрь 2018 (14)
Февраль 2017 (3)
Январь 2017 (1)
Август 2016 (1)
Май 2016 (2)
Ноябрь 2015 (1)

Карта сайта: 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41

Друзья сайта



Случайная цитата

К. Гепперт и К. Пат:

"Центральный банк — это банк, при помощи которого государство вмешивается в дела частных банков и который, в отличие от них, может сам печатать нужные ему деньги."

Опрос

Какими социальными сетями Вы пользуетесь?

Vkontakte.ru
Одноклассники
Мой Мир - mail.ru
Google Plus
Facebook
ЖЖ
Другие
Не пользуюсь