Система статистики журналов играет важную роль в анализе поведения пользователей на сайте, особенно в статистике доступа по ключевым словам из поисковых систем: это очень эффективный источник данных анализа поведения пользователей. С развитием Интернета на протяжении многих лет инструменты статистики веб-журналов становились все более зрелыми и имели все больше и больше функций. Многие из них имеют открытый исходный код, и AWStats — один из лучших.
Краткая инструкция по установке следующая:
Установить
http://sourceforge.net/projects/awstats/ После загрузки установочного пакета:
GNU/Linux: tar zxf awstats-version.tgz
По умолчанию сценарии и статические файлы awstats находятся в каталоге wwwroot: разверните все файлы из каталога cgi-bin в каталог cgi-bin/: /home/apache/cgi-bin/awstats/
mv awstats-версия/wwwroot/cgi-bin /путь/к/apache/cgi-bin/awstats
Скопируйте значок и другие каталоги файлов в каталог публикации веб-файлов HTML, например: /home/apache/htdocs/, и опубликуйте их.
Дополнительные сценарии пакетного обновления находятся в каталоге инструментов и могут быть размещены в каталоге cgi-bin/awstats/.
Обновите определения основных отечественных поисковых систем и пауков и установите библиотеку приложений GeoIP: C
http://www.maxmind.com/download/geoip/api/c/ Распакуйте, скомпилируйте и установите.
perl -MCPAN -e 'установить "Geo::IP"' или использовать чистый пакет Perl perl -MCPAN -e 'install "Geo::IP::PurePerl"'
Загрузите пакет GeoIP/GeoIPCityLite: распакуйте и разверните его в каталог awstats.
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
Конфигурация
Назовите файл awstats.model.conf по умолчанию в common.conf.
Измените некоторые из этих параметров конфигурации:
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
Создайте каталог данных в awstats для вывода статистических данных.
Настройте файл конфигурации согласно следующему примеру:
Включите «common.conf»
LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
SiteDomain="www.chedong.com"
HostAliases="chedong.com"
Файл по умолчанию="index.html"
DirData="/home/apache/cgi-bin/awstats/data/"
Краткое содержание: введение в использование AWStats и некоторые инструкции по улучшению конфигурации. Приятно видеть, что начиная с версии AWStats 6.3: китайским пользователям в основном нужно только включить LoadPlugin="decodeutfkeys" в файле конфигурации. По сути, с китайскими поисковыми системами не будет никаких статистических проблем. В настоящее время # Незначительные китайские поисковые системы 'baidu'. .com', 'search.sina.com', 'search.sohu.com', эти три поисковые системы. Содержит патчи для основных отечественных поисковых систем и определений пауков (просто перезапишите исходный каталог программы в каталоге lib после распаковки)
[Вырезанная страница]
Система статистики журналов играет важную роль в анализе поведения пользователей на сайте, особенно в статистике доступа по ключевым словам из поисковых систем: это очень эффективный источник данных анализа поведения пользователей. С развитием Интернета на протяжении многих лет инструменты статистики веб-журналов становились все более зрелыми и имели все больше и больше функций. Многие из них имеют открытый исходный код, и AWStats — один из лучших.
AWStats: расширенная веб-статистика
AWStats — это инструмент анализа веб-журналов на основе Perl, быстро разработанный на Sourceforge. По сравнению с Webalizer, еще одним отличным инструментом анализа журналов с открытым исходным кодом, AWStats имеет следующие преимущества:
Дружественный интерфейс: вы можете напрямую вызвать интерфейс на соответствующем языке в зависимости от браузера (доступна упрощенная китайская версия)
Справочный образец выходных данных: http://www.chedong.com/cgi-bin/awstats/awstats.pl? конфигурация=чедон
На основе Perl: очень хорошо решает проблему кросс-платформенности. Сама система может работать в GNU/Linux или Windows (после установки ActivePerl) напрямую поддерживает формат Apache (комбинированный) и формат IIS (необходимо изменить); ). Хотя у Webalizer также есть версия для платформы Windows, в настоящее время она не поддерживается;
AWStats может полностью использовать одну систему для сбора единой статистики на разных WEB-серверах вашего собственного сайта: серверах GNU/Linux/Apache и Windows/IIS.
Относительно высокая эффективность: элементы статистики вывода AWStats намного богаче, чем у Webalizer, а скорость все равно может достигать примерно 1/3 от Webalizer. Для сайта с миллионами ежедневных посещений такой скорости вполне достаточно;
Удобная настройка/настройка: система предоставляет достаточно гибкие, но разумные правила настройки по умолчанию. Для начала работы необходимо изменить не более 3 или 4 конфигураций по умолчанию, и существует довольно много плагинов, которые можно изменять и расширять;
Разработчики AWStats предназначены для точных «посещений людей», поэтому многие посещения роботов поисковых систем отфильтровываются, поэтому цифры могут быть ниже, чем у других инструментов статистики журналов. Посещения внутри компании также могут быть пропущены через фильтрацию настроек IP-фильтрации. .
Предоставляет множество расширенных функций статистики параметров: использование конфигурации серии ExtraXXXX для анализа параметров конкретного приложения будет очень полезно для анализа продукта.
Дополнительные сравнения с другими инструментами: аналогом Webalizer см.:
http://awstats.sourceforge.net/#COMPARISON
[Вырезанная страница]
Напоминание об установке AWStats
Режим работы AWStats следующий:
Анализ журналов: после запуска архивируйте такие статистические результаты журналов в базу данных AWStats (обычный текст);
Затем есть вывод: в двух формах
Один из них — прочитать выходные данные базы данных статистических результатов с помощью программы cgi;
Один из них — запустить фоновый сценарий для экспорта вывода в статический файл;
Ниже приведены два примера статистики журналов для одного сайта:
Один выводится через CGI в GNU/Linux,
Один из них основан на экспорте статических страниц в Windows 2000.
Скачать/установить
http://sourceforge.net/projects/awstats/ После загрузки установочного пакета:
GNU/Linux: tar zxf awstats-version.tgz
Сценарии и статические файлы awstats по умолчанию находятся в каталоге wwwroot: разверните программу awstats.pl в каталоге cgi-bin в /home/apache/cgi-bin/awstats/.
mv awstats-версия/wwwroot/cgi-bin /путь/к/apache/cgi-bin/awstats
#Скопируйте значок и другие каталоги файлов в каталог публикации веб-файлов HTML: /home/apache/htdocs/ и опубликуйте их в папке
Дополнительные сценарии пакетного обновления находятся в каталоге инструментов и могут быть размещены вместе в каталоге cgi-bin/awstats/.
Windows 2000: Запустите в фоновом режиме сценария, распакуйте напрямую и затем перейдите в каталог D:AWStats.
Скопируйте каталог значков в каталог выпуска IIS: inetpub/icon.
[Вырезанная страница]
Формат журнала источника данных и правила усечения по дням
Для Apache: Формат журнала легко настроить: просто установите для него комбинированный формат. Усечение журнала немного сложнее: вам нужно установить инструмент cronolog и настроить усечение журнала по дням:
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" в сочетании
Например: журналы/access_log.20030326
Журнал находится в сжатом формате, вы можете использовать gzip -d </home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz для динамического распаковывания статистики.
Для IIS: по умолчанию существуют лучшие правила усечения журнала по дням, но формат журнала IIS не подходит для статистики AWStats.
Поэтому лучше всего просто удалить все поля журнала и настроить их строго по следующему списку.
Дата Дата
время время
IP-адрес клиента c-ip
Имя пользователяcs-имя пользователя
методcs-метод
Ресурс URI cs-uri-stem
Статус протокола sc-status
Количество отправленных байтов sc-байт
Версия протокола cs-версия
Пользовательский агент cs (Пользователь-Агент)
Справочники (Referer)
По сравнению с настройками IIS по умолчанию:
Сокращения включают в себя:
IP-адрес сервера
Порт сервера
URI-запрос
Добавлены:
количество отправленных байтов
Версия протокола
Ссылка
Правила именования файлов конфигурации: awstats.sitename.conf.
Основная программа AWStats, awstats.pl, автоматически вызовет файл конфигурации соответствующего сайта по имени сайта: awstats.sitename.conf.
Например: запуск ./awstats.pl -config=chedong вызывает файл конфигурации awstats.chedong.conf в том же каталоге;
Если параметр -config не указан, awstats.conf или /etc/awstats.conf в текущем каталоге также будут найдены в качестве файла конфигурации по умолчанию.
Поэтому лучше всего переименовать файл awstats.model.conf по умолчанию в awstats.yoursite.conf, например: awstats.chedong.conf,
Для статистики на нескольких сайтах функция включения файла конфигурации AWStats по-прежнему очень полезна. Мы можем поместить общую конфигурацию в один документ, а затем использовать конфигурацию «Включить» (поддерживается после версии 5.4), чтобы включить общую конфигурацию в каждый конкретный файл конфигурации. . заголовок, а затем использовать другие конфигурации для переопределения соответствующих свойств в общей конфигурации, например:
Включить="common.conf"
Файл журнала="/путь/к/bbs/access_log"
SiteName="bbs.chedong.com"
Минимальное изменение файла конфигурации: LogFile SiteDomain LogFormat.
Для подсчета журналов Apache в GNU/Linux просто измените эти два параметра: LogFile SiteDomain.
GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
Файл журнала Windows 2000="d:iis_logsW3SV3ex%YY-24%MM-24%DD-24.log"
Эта конфигурация означает, что имя файла журнала содержит год, месяц и дату 24-часовой давности;
SiteDomain="www.chedong.com"
Имя сайта, которое по умолчанию пусто. Если оно пусто, AWStats откажется запускаться;
Для статистических журналов IIS требуется еще одна модификация:
Формат журнала=2
Значение по умолчанию — 1: журнал Apache, 2 — журнал IIS.
[Вырезанная страница]
Другие вещи, на которые следует обратить внимание:
AWStats по умолчанию не фильтрует SWF-файлы и будет считать .swf файлом PageView, поэтому, если SWF-файлы на сайте в основном представляют собой рекламу, лучше их отфильтровать:
Анализ журналов
./awstats.pl -update -config=имя_сайта -lang=cn
Например: ./awstats.pl -update -config=chedong
Файл конфигурации awstats.chedong.conf будет вызван автоматически.
Статистический вывод
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl? конфигурация=чедон
Windows 2000 http://localhost/awstats/awstats.chedong.html
Статистика журнала запускается автоматически
В GNU/Linux: crontab -e: запускать каждый день в 8:10.
#updateawstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)
В Windows 2000: запуск в 8:10 каждый день.
D:Perlbinperl.exe d:AWStatstoolsawstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:inetpubawstats -awstatsprog=d:awstatswwwroot cgi-binawstats.pl
Статистика журналов с нескольких сайтов
AWStats поставляется с инструментом пакетной обработки: Tools/awstats_updateall.pl, который может просматривать все файлы конфигурации в каталоге в пакетном режиме и запускать статистику. Поэтому оставшаяся работа в основном связана с синхронизацией журналов.
Для нескольких сайтов многие параметры конфигурации повторяются. Если каждый файл конфигурации будет изменен и сохранен, AWStats предоставляет функции, включенные в файлы конфигурации, начиная с версии 5.4, поэтому мы можем настроить общую конфигурацию, например: common. конф
Тогда конфигурация других сайтов устанавливается на: вы можете использовать следующие параметры, чтобы переопределить конфигурацию, не соответствующую конфигурации по умолчанию.
awstats.bbs.chedong.conf
Включите «chedong.common.conf».
Файл журнала "/путь/к/bbs_log"
Имя сайта «bbs.chedong.com»
awstats.www.chedong.conf
Включите «chedong.common.conf».
Файл журнала "/путь/к/www_log"
Имя сайта «www.chedong.com»
HostAliases="chedong.com"
Описание статистических показателей
Посетители: статистика основана на уникальных IP-адресах посетителей, один IP представляет одного посетителя;
Количество посещений: Посетитель может посещать несколько раз в течение одного дня (например: один раз утром, один раз днем), поэтому количество посещений посетителя рассчитывается на основе количества уникальных IP-адресов за определенный период времени. время (например: 1 час);
Количество веб-страниц: общее количество посещений страниц без учета изображений, CSS, файлов JavaScript и т. д., но если на странице используется несколько фреймов, каждый фрейм считается запросом страницы;
Количество файлов: общее количество запросов файлов от клиента браузера, включая изображения, CSS, JavaScript и т. д. Пользователь запрашивает страницу. Если страница содержит изображения и т. д., на сервер будет отправлено несколько запросов к файлам. количество файлов обычно намного больше, чем количество файлов;
Байты: общий объем данных, передаваемых клиенту;
Данные из REFERER: поле ссылки (REFERER) в журнале записывает адрес до доступа к соответствующей веб-странице. Поэтому, если пользователь нажмет, чтобы войти на веб-сайт через результаты поиска поисковой системы, в нем будет запрос пользователя. адрес соответствующей поисковой системы в журнале, из этого адреса посредством синтаксического анализа можно извлечь ключевые слова, используемые в запросах пользователей:
например:
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(совместимый; +MSIE+5.01; +Windows+NT+5.0) http://www.google .com/поиск? q=чедон
AWStats обладает относительно полными функциями по ключевым фразам поисковых систем и статистике ключевых слов: он может идентифицировать более 300 машинных сканеров по всему миру, а также большинство основных международных поисковых систем и поисковых систем на местном языке во многих регионах.
[Вырезанная страница]
Взлом AWStats
Установка плагина на основе географической информации:
GeoIP и Geo::IPfree (awstats 5.5+)
И GeoIP, и Geo::IPfree — это бесплатные таблицы сопоставления стран и IP-адресов, которые более точны и быстрее, чем статистика, полученная с помощью обратного разрешения доменных имен DNS. API GeoIP бесплатны, библиотека по умолчанию бесплатна, а ее услуга обновления данных является платной. Публичным является не только код Geo::IPfree, но и данные библиотеки.
Установка GeoIP:
Сначала загрузите библиотеку C: GeoIP C после распаковки
%./настроить;
#сделать установку
Затем скачайте библиотеку Perl: GeoIP Perl после распаковки.
%perl MakeFile.PL;
#сделать установку
Установка Geo::IPfree:
После скачивания Geo::IPfree и его распаковки
%perl Makefile
%делать
#сделать установку
Конфигурация: путем включения плагинов, связанных с GEOIP, в файле конфигурации:
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
В настоящее время MaxMind предоставляет пакеты данных GeoIP и GeoIPCityLite бесплатно: их можно регулярно загружать каждый месяц по следующему адресу.
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
[Вырезанная страница]Система статистики журналов играет важную роль в анализе поведения пользователей на сайте, особенно в статистике доступа по ключевым словам из поисковых систем: это очень эффективный источник данных анализа поведения пользователей. С развитием Интернета на протяжении многих лет инструменты статистики веб-журналов становились все более зрелыми и имели все больше и больше функций. Многие из них имеют открытый исходный код, и AWStats — один из лучших.
AWStats: расширенная веб-статистика
AWStats — это инструмент анализа веб-журналов на основе Perl, быстро разработанный на Sourceforge. По сравнению с Webalizer, еще одним отличным инструментом анализа журналов с открытым исходным кодом, AWStats имеет следующие преимущества:
Дружественный интерфейс: вы можете напрямую вызвать интерфейс на соответствующем языке в зависимости от браузера (доступна упрощенная китайская версия)
Справочный образец выходных данных: http://www.chedong.com/cgi-bin/awstats/awstats.pl? конфигурация=чедон
На основе Perl: очень хорошо решает проблему кросс-платформенности. Сама система может работать в GNU/Linux или Windows (после установки ActivePerl) напрямую поддерживает формат Apache (комбинированный) и формат IIS (необходимо изменить); ). Хотя у Webalizer также есть версия для платформы Windows, в настоящее время она не поддерживается;
AWStats может полностью использовать одну систему для сбора единой статистики на разных WEB-серверах вашего собственного сайта: серверах GNU/Linux/Apache и Windows/IIS.
Относительно высокая эффективность: элементы статистики вывода AWStats намного богаче, чем у Webalizer, а скорость все равно может достигать примерно 1/3 от Webalizer. Для сайта с миллионами ежедневных посещений такой скорости вполне достаточно;
Удобная настройка/настройка: система предоставляет достаточно гибкие, но разумные правила настройки по умолчанию. Для начала работы необходимо изменить не более 3 или 4 конфигураций по умолчанию, и существует довольно много плагинов, которые можно изменять и расширять;
Разработчики AWStats предназначены для точных «посещений людей», поэтому многие посещения роботов поисковых систем отфильтровываются, поэтому цифры могут быть ниже, чем у других инструментов статистики журналов. Посещения внутри компании также могут быть пропущены через фильтрацию настроек IP-фильтрации. .
Предоставляет множество расширенных функций статистики параметров: использование конфигурации серии ExtraXXXX для анализа параметров конкретного приложения будет очень полезно для анализа продукта.
Дополнительные сравнения с другими инструментами: аналогом Webalizer см.:
http://awstats.sourceforge.net/#COMPARISON