Итак, мы обработали клиентский запрос и в результате получили несколько переменных с интересующей нас информацией.

Следующим шагом неплохо было бы определить страну клиента. Конечно, это можно сделать по домену первого уровня, взятого из имени хоста, но, во-первых, физическое расположение хоста не всегда соответствует стране, которой приписан домен (например, хост зоны .com может находиться и в России), к тому же есть такие интернациональные домены как .org, .net, .edu и т.д.

Если в httpd.conf включено определение имен хостов (HostNameLookups on), в лог записываются не ip адреса клиентов, а имена хостов. Включать определение имен хостов не рекомендуется, так как ухудшает производительность веб-сервера.

Легко заметить, что далеко не все полученные данные подходят для загрузки на SQL сервер. Например, дата должна быть в формате, "понятном" серверу. Не говоря уже о том, что bytes и status могут и не быть числами, тогда как в базе данных для них имеет смысл завести поля типа integer (для последующего суммирования).

В логе каждый клиентский запрос представлен отдельной строкой, поэтому для чтения файла лога удобно воспользоваться конструкцией Python наподобие следующей

Для того, чтобы иметь возможность получать интересующую информацию из логов веб-сервера, нужно сначала настроить журнализацию так, чтобы эта информация туда попадала.

Автор: Олег Артемов, системный администратор компании Intersoft Lab

Подготовка данных для ClickStream Intelligence

Чтобы установить определенный бит, используется операция включающей дизъюнкции (значение | значение). Допустим, текущее значение флага $value равно 3 (это означает, что установлен нулевой и первый биты), а вы хотите дополнительно установить второй бит (не забывайте, что нумерация начинается с нуля).

Поразрядные вычисления часто вызывают большие затруднения у программистов-новичков, и даже опытные разработчики периодически испытывают трудности при работе с ними.

Типичное приложение обычно имеет два уровня прав доступа: пользователя и администратора. Однако в некоторых приложениях необходим более сложный механизм управления доступом.