Le système de statistiques de journaux joue un rôle important dans l’analyse du comportement des utilisateurs du site, notamment pour les statistiques d’accès aux mots clés des moteurs de recherche : c’est une source très efficace de données d’analyse du comportement des utilisateurs. Avec le développement d’Internet au fil des années, les outils de statistiques de log WEB sont devenus de plus en plus matures et disposent de plus en plus de fonctionnalités. Beaucoup d’entre eux sont open source et AWStats est l’un des meilleurs.
De brèves instructions d'installation sont les suivantes :
Installer
http://sourceforge.net/projects/awstats/ Après avoir téléchargé le package d'installation :
GNU/Linux : tar zxf awstats-version.tgz
Par défaut, les scripts et fichiers statiques d'awstats sont dans le répertoire wwwroot : déployez tous les fichiers du répertoire cgi-bin dans le répertoire cgi-bin/ : /home/apache/cgi-bin/awstats/
mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
Copiez l'icône et les autres répertoires de fichiers dans le répertoire de publication des fichiers WEB HTML, par exemple : /home/apache/htdocs/ et publiez-les
D'autres scripts de mise à jour par lots se trouvent dans le répertoire tools et peuvent être placés dans le répertoire cgi-bin/awstats/.
Mettez à niveau les définitions des principaux moteurs de recherche et araignées nationaux et installez la bibliothèque d'applications GeoIP : C
http://www.maxmind.com/download/geoip/api/c/ Décompresser, compiler et installer
perl -MCPAN -e 'install "Geo::IP"' ou utilisez le package Perl pur perl -MCPAN -e 'install "Geo::IP::PurePerl"'
Téléchargez le package GeoIP/GeoIPCityLite : décompressez et déployez dans le répertoire awstats
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
Configuration
Nommez le fichier awstats.model.conf par défaut en common.conf.
Modifiez certaines de ces options de configuration :
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
Créez le répertoire de données sous awstats pour la sortie des données statistiques
Configurez le fichier de configuration selon l'exemple suivant :
Inclure "common.conf"
LogFile="/home/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
SiteDomain="www.chedong.com"
HostAliases="chedong.com"
Fichier par défaut="index.html"
DirData="/home/apache/cgi-bin/awstats/data/"
Résumé du contenu : Introduction à l'utilisation d'AWStats et quelques instructions d'amélioration de la configuration. C'est formidable de voir qu'à partir de la version 6.3 d'AWStats : les utilisateurs chinois n'ont qu'à activer LoadPlugin="decodeutfkeys" dans le fichier de configuration. Fondamentalement, il n'y aura aucun problème statistique avec les moteurs de recherche chinois. Actuellement, # Moins de recherche chinois mineurs 'baidu. .com', 'search.sina.com', 'search.sohu.com', ces trois moteurs de recherche. Contient des correctifs pour les principaux moteurs de recherche nationaux et les définitions d'araignées (il suffit d'écraser le répertoire du programme d'origine dans le répertoire lib après le déballage)
[Page coupée]
Le système de statistiques de journaux joue un rôle important dans l’analyse du comportement des utilisateurs du site, notamment pour les statistiques d’accès aux mots clés des moteurs de recherche : c’est une source très efficace de données d’analyse du comportement des utilisateurs. Avec le développement d’Internet au fil des années, les outils de statistiques de log WEB sont devenus de plus en plus matures et disposent de plus en plus de fonctionnalités. Beaucoup d’entre eux sont open source et AWStats est l’un des meilleurs.
AWStats : statistiques Web avancées
AWStats est un outil d'analyse de journaux WEB basé sur Perl et développé rapidement sur Sourceforge. Par rapport à Webalizer, un autre excellent outil d'analyse de journaux open source, AWStats présente les avantages suivants :
Interface conviviale : vous pouvez appeler directement l'interface linguistique correspondante en fonction du navigateur (une version chinoise simplifiée est disponible)
Échantillon de sortie de référence : http://www.chedong.com/cgi-bin/awstats/awstats.pl? config=chedong
Basé sur Perl : et résout très bien le problème multiplateforme. Le système lui-même peut fonctionner sous GNU/Linux ou Windows (une fois ActivePerl installé) ; les journaux analysés prennent directement en charge le format Apache (combiné) et le format IIS (doivent être modifiés) ; ). Bien que Webalizer dispose également d'une version pour plate-forme Windows, il manque actuellement de maintenance ;
AWStats peut utiliser complètement un seul système pour compléter des statistiques unifiées sur différents serveurs WEB de votre propre site : serveurs GNU/Linux/Apache et Windows/IIS.
Efficacité relativement élevée : les éléments de statistiques de sortie d'AWStats sont beaucoup plus riches que Webalizer, et la vitesse peut encore atteindre environ 1/3 de celle de Webalizer. Pour un site avec des millions de visites quotidiennes, cette vitesse est suffisante ;
Configuration/personnalisation pratique : le système fournit des règles de configuration par défaut suffisamment flexibles mais raisonnables. Pas plus de 3 ou 4 configurations par défaut ne doivent être modifiées pour commencer à fonctionner, et de nombreux plug-ins peuvent être modifiés et étendus ;
Les concepteurs d'AWStats sont conçus pour des « visites humaines » précises, de sorte que de nombreuses visites de robots de moteurs de recherche sont filtrées, de sorte que les chiffres peuvent être inférieurs à ceux d'autres outils de statistiques de journaux. Les visites provenant de l'intérieur de l'entreprise peuvent également être filtrées via les paramètres de filtrage IP. .
Fournit de nombreuses fonctions étendues de statistiques de paramètres : l'utilisation de la configuration de la série ExtraXXXX pour générer une analyse des paramètres spécifiques à l'application sera très utile pour l'analyse des produits.
Pour plus de comparaisons avec d'autres outils : Webalizer, analogique, veuillez vous référer à :
http://awstats.sourceforge.net/#COMPARISON
[Page coupée]
Rappel d'installation d'AWStats
Le mode de fonctionnement d'AWStats est le suivant :
Analyser les journaux : après l'exécution, archivez les résultats statistiques de ces journaux dans une base de données AWStats (texte brut) ;
Ensuite, il y a le résultat : sous deux formes
La première consiste à lire la sortie de la base de données des résultats statistiques via le programme cgi ;
La première consiste à exécuter un script en arrière-plan pour exporter la sortie dans un fichier statique ;
Voici deux exemples de statistiques de journaux pour un seul site :
L'un est généré via CGI sur GNU/Linux,
L'un est basé sur l'exportation de pages statiques sous Windows 2000.
Télécharger/installer
http://sourceforge.net/projects/awstats/ Après avoir téléchargé le package d'installation :
GNU/Linux : tar zxf awstats-version.tgz
Les scripts et fichiers statiques d'awstats se trouvent par défaut dans le répertoire wwwroot : déployez le programme awstats.pl dans le répertoire cgi-bin vers /home/apache/cgi-bin/awstats/
mv awstats-version/wwwroot/cgi-bin /path/to/apache/cgi-bin/awstats
#Copiez l'icône et les autres répertoires de fichiers dans le répertoire de publication des fichiers WEB HTML : /home/apache/htdocs/ et publiez-les sous
D'autres scripts de mise à jour par lots se trouvent dans le répertoire tools et peuvent être placés ensemble dans le répertoire cgi-bin/awstats/.
Windows 2000 : exécuter en mode script en arrière-plan, décompresser directement, puis déplacer vers le répertoire D:AWStats
Copiez le répertoire des icônes dans le répertoire de la version IIS : inetpub/icon
[Page coupée]
Format du journal de la source de données et règles de troncature par jour
Pour Apache : le format du journal est facile à définir : il suffit de le définir au format combiné. La troncature du journal est un peu plus gênante : vous devez installer l'outil cronolog et configurer le journal pour qu'il soit tronqué de jour :
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combiné
Par exemple : logs/access_log.20030326
Le journal est au format compressé, vous pouvez utiliser gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz pour décompresser dynamiquement les statistiques.
Pour IIS : par défaut, il existe de meilleures règles de troncature des journaux par jour, mais le format de journal d'IIS n'est pas adapté aux statistiques AWStats.
Par conséquent, il est préférable de simplement supprimer tous les champs de journal et de les définir strictement selon la liste suivante
DateDate
temps temps
Adresse IP du client c-ip
Nom d'utilisateurcs-nom d'utilisateur
méthode methodcs
Ressource URI cs-uri-stem
Statut du protocole Statut-SC
Nombre d'octets envoyés sc-bytes
Version du protocole version CS
Agent utilisateur cs (User-Agent)
Références (référent)
Par rapport aux paramètres par défaut d'IIS :
Les réductions comprennent :
Adresse IP du serveur
Port du serveur
requête URI
Sont ajoutés :
nombre d'octets envoyés
Version du protocole
Référence
Règles de dénomination des fichiers de configuration : awstats.sitename.conf
Le programme principal d'AWStats, awstats.pl, appellera automatiquement le fichier de configuration du site correspondant en fonction du nom du site : awstats.sitename.conf
Par exemple : l'exécution de ./awstats.pl -config=chedong appelle le fichier de configuration awstats.chedong.conf dans le même répertoire ;
Si -config n'est pas spécifié, awstats.conf ou /etc/awstats.conf dans le répertoire actuel sera également trouvé comme fichier de configuration par défaut.
Il est donc préférable de renommer le fichier awstats.model.conf par défaut en awstats.yoursite.conf, par exemple : awstats.chedong.conf ;
Pour les statistiques sur plusieurs sites, la fonction d'inclusion de fichier de configuration d'AWStats est toujours très utile. Nous pouvons mettre la configuration commune dans un seul document, puis utiliser la configuration Inclure (prise en charge après la version 5.4) pour inclure la configuration commune dans chaque fichier de configuration spécifique. . en-tête, puis utilisez d'autres configurations pour remplacer les propriétés correspondantes dans la configuration générale, telles que :
Inclure="common.conf"
LogFile="/chemin/vers/bbs/access_log"
Nom du site="bbs.chedong.com"
Modification minimale du fichier de configuration : LogFile SiteDomain LogFormat
Pour compter les logs Apache sur GNU/Linux, modifiez simplement ces deux options : LogFile SiteDomain
GNU/Linux LogFile="/path/to/apache/logs/access_log.%YYYY-24%MM-24%DD-24"
Fichier journal Windows 2000="d:iis_logsW3SV3ex%YY-24%MM-24%DD-24.log"
Cette configuration signifie le nom du fichier journal épelé avec l'année, le mois et la date il y a 24 heures ;
SiteDomain="www.chedong.com"
Le nom du site, qui est vide par défaut, S'il est vide, AWStats refusera de s'exécuter ;
Pour les journaux statistiques IIS, une modification supplémentaire est requise :
Format de journal = 2
La valeur par défaut est 1 : journal Apache, 2 est le journal IIS
[Page coupée]
Autres choses à noter :
AWStats ne filtre pas les fichiers swf par défaut et comptera .swf comme PageView, donc si les fichiers swf sur le site sont principalement des publicités, il est préférable de les filtrer :
Analyse des journaux
./awstats.pl -update -config=sitename -lang=cn
Par exemple : ./awstats.pl -update -config=chedong
Le fichier de configuration awstats.chedong.conf sera automatiquement appelé.
Sortie statistique
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl? config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html
Les statistiques du journal s'exécutent automatiquement
Sous GNU/Linux : crontab -e : exécuté tous les jours à 8h10
#updateawstats
10 8 * * * (cd /path/to/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)
Sous Windows 2000 : configuré pour s'exécuter à 8h10 tous les jours
D:Perlbinperl.exe d:AWStatstoolsawstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:inetpubawstats -awstatsprog=d:awstatswwwroot cgi-binawstats.pl
Statistiques des journaux multi-sites
AWStats est livré avec un outil de traitement par lots : tools/awstats_updateall.pl, qui peut parcourir tous les fichiers de configuration d'un répertoire par lots et exécuter des statistiques. Par conséquent, le travail restant concerne principalement la synchronisation des journaux.
Pour plusieurs sites, de nombreuses options de configuration sont répétées. Si chaque fichier de configuration est modifié et maintenu, cela sera très gênant. AWStats fournit des fonctions incluses dans les fichiers de configuration depuis la version 5.4, nous pouvons donc configurer une configuration commune, telle que : commune. conf
Ensuite, la configuration des autres sites est définie sur : vous pouvez utiliser les options suivantes pour remplacer la configuration qui n'est pas cohérente avec la configuration par défaut.
awstats.bbs.chedong.conf
Inclure "chedong.common.conf"
Fichier journal "/chemin/vers/bbs_log"
Nom du site "bbs.chedong.com"
awstats.www.chedong.conf
Inclure "chedong.common.conf"
Fichier journal "/chemin/vers/www_log"
Nom du site "www.chedong.com"
HostAliases="chedong.com"
Description des indicateurs statistiques
Visiteurs : statistiques basées sur les adresses IP uniques des visiteurs, une IP représente un visiteur ;
Nombre de visites : un visiteur peut visiter plusieurs fois dans une journée (par exemple : une fois le matin, une fois l'après-midi), de sorte que le nombre de visites du visiteur est calculé en fonction du nombre d'adresses IP uniques au cours d'une certaine période de temps (par exemple : 1 heure) ;
Nombre de pages Web : nombre total de visites de pages pures, hors images, fichiers CSS, JavaScript, etc., mais si une page utilise plusieurs cadres, chaque cadre compte comme une demande de page ;
Nombre de fichiers : le nombre total de demandes de fichiers du client du navigateur, y compris les images, CSS, JavaScript, etc. L'utilisateur demande une page si la page contient des images, etc., plusieurs demandes de fichiers seront adressées au serveur. le nombre de fichiers est généralement beaucoup plus grand que le nombre de fichiers ;
Octets : la quantité totale de données transmises au client ;
Données de REFERER : Le champ de référence (REFERER) dans le journal enregistre l'adresse avant d'accéder à la page Web correspondante. Par conséquent, si l'utilisateur clique pour accéder au site Web via les résultats de recherche du moteur de recherche, la requête de l'utilisateur apparaîtra dans le champ. moteur de recherche correspondant dans le journal Adresse, à partir de cette adresse, les mots-clés utilisés dans les requêtes des utilisateurs peuvent être extraits par analyse :
Par exemple:
2003-03-26 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatible ; +MSIE+5.01; +Windows+NT+5.0) http://www.google .com/recherche ? q=chedong
AWStats a des fonctions relativement complètes dans les expressions clés des moteurs de recherche et les statistiques de mots clés : il peut identifier plus de 300 robots d'exploration de machines dans le monde et peut identifier la plupart des moteurs de recherche internationaux traditionnels et des moteurs de recherche en langue locale dans de nombreuses régions.
[Page coupée]
Piratage d'AWStats
Installation du plug-in basée sur les informations géographiques :
GeoIP et Geo::IPfree (awstats 5.5+)
GeoIP et Geo::IPfree sont des tables de cartographie pays/IP gratuites, plus précises et plus rapides que les statistiques obtenues par la résolution inversée des noms de domaine DNS. Les API GeoIP sont gratuites, la bibliothèque par défaut est gratuite et son service de mise à jour des données est payant. Non seulement le code de Geo::IPfree est public, mais les données de la bibliothèque sont également publiques.
Installation GéoIP :
Téléchargez d'abord la bibliothèque C : GeoIP C après le déballage
%./configurer;
#faire installer
Téléchargez ensuite la bibliothèque Perl : GeoIP Perl après déballage
%perl MakeFile.PL;
#faire installer
Geo::IPinstallation gratuite :
Après avoir téléchargé Geo::IPfree et l'avoir décompressé
Makefile %perl
%faire
#faire installer
Configuration : En activant les plug-ins liés à GEOIP dans le fichier de configuration :
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
MaxMind propose actuellement gratuitement des packages de données GeoIP et GeoIPCityLite : ils peuvent être téléchargés régulièrement chaque mois à l'adresse suivante
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
[Page coupée]Le système de statistiques de journaux joue un rôle important dans l’analyse du comportement des utilisateurs du site, notamment pour les statistiques d’accès aux mots clés des moteurs de recherche : c’est une source très efficace de données d’analyse du comportement des utilisateurs. Avec le développement d’Internet au fil des années, les outils de statistiques de log WEB sont devenus de plus en plus matures et disposent de plus en plus de fonctionnalités. Beaucoup d’entre eux sont open source et AWStats est l’un des meilleurs.
AWStats : statistiques Web avancées
AWStats est un outil d'analyse de journaux WEB basé sur Perl et développé rapidement sur Sourceforge. Par rapport à Webalizer, un autre excellent outil d'analyse de journaux open source, AWStats présente les avantages suivants :
Interface conviviale : vous pouvez appeler directement l'interface linguistique correspondante en fonction du navigateur (une version chinoise simplifiée est disponible)
Échantillon de sortie de référence : http://www.chedong.com/cgi-bin/awstats/awstats.pl? config=chedong
Basé sur Perl : et résout très bien le problème multiplateforme. Le système lui-même peut fonctionner sous GNU/Linux ou Windows (une fois ActivePerl installé) ; les journaux analysés prennent directement en charge le format Apache (combiné) et le format IIS (doivent être modifiés) ; ). Bien que Webalizer dispose également d'une version pour plate-forme Windows, il manque actuellement de maintenance ;
AWStats peut utiliser complètement un seul système pour compléter des statistiques unifiées sur différents serveurs WEB de votre propre site : serveurs GNU/Linux/Apache et Windows/IIS.
Efficacité relativement élevée : les éléments de statistiques de sortie d'AWStats sont beaucoup plus riches que Webalizer, et la vitesse peut encore atteindre environ 1/3 de celle de Webalizer. Pour un site avec des millions de visites quotidiennes, cette vitesse est suffisante ;
Configuration/personnalisation pratique : le système fournit des règles de configuration par défaut suffisamment flexibles mais raisonnables. Pas plus de 3 ou 4 configurations par défaut ne doivent être modifiées pour commencer à fonctionner, et de nombreux plug-ins peuvent être modifiés et étendus ;
Les concepteurs d'AWStats sont conçus pour des « visites humaines » précises, de sorte que de nombreuses visites de robots de moteurs de recherche sont filtrées, de sorte que les chiffres peuvent être inférieurs à ceux d'autres outils de statistiques de journaux. Les visites provenant de l'intérieur de l'entreprise peuvent également être filtrées via les paramètres de filtrage IP. .
Fournit de nombreuses fonctions étendues de statistiques de paramètres : l'utilisation de la configuration de la série ExtraXXXX pour générer une analyse des paramètres spécifiques à l'application sera très utile pour l'analyse des produits.
Pour plus de comparaisons avec d'autres outils : Webalizer, analogique, veuillez vous référer à :
http://awstats.sourceforge.net/#COMPARISON