O sistema de estatísticas de log desempenha um papel importante na análise do comportamento do usuário do site, especialmente para estatísticas de acesso por palavras-chave dos mecanismos de busca: é uma fonte muito eficaz de dados de análise do comportamento do usuário. Com o desenvolvimento da Internet ao longo dos anos, as ferramentas de estatísticas de log da WEB tornaram-se cada vez mais maduras e têm cada vez mais funções. Muitos deles são de código aberto e AWStats é um dos melhores.
Breves instruções de instalação são as seguintes:
Instalar
http://sourceforge.net/projects/awstats/ Depois de baixar o pacote de instalação:
GNU/Linux: tar zxf awstats-version.tgz
Por padrão, os scripts e arquivos estáticos do awstats estão no diretório wwwroot: implemente todos os arquivos do diretório cgi-bin no diretório cgi-bin/: /home/apache/cgi-bin/awstats/
mv versão awstats/wwwroot/cgi-bin /caminho/para/apache/cgi-bin/awstats
Copie o ícone e outros diretórios de arquivos para o diretório de publicação de arquivos HTML da WEB, por exemplo: /home/apache/htdocs/ e publique-os
Mais scripts de atualização em lote estão no diretório de ferramentas e podem ser colocados no diretório cgi-bin/awstats/.
Atualize as definições dos principais mecanismos de busca e spiders nacionais e instale a biblioteca de aplicativos GeoIP: C
http://www.maxmind.com/download/geoip/api/c/ Descompacte, compile e instale
perl -MCPAN -e 'install "Geo::IP"' ou use o pacote Perl puro perl -MCPAN -e 'install "Geo::IP::PurePerl"'
Baixe o pacote GeoIP/GeoIPCityLite: descompacte e implante no diretório awstats
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
Configuração
Nomeie o padrão awstats.model.conf como common.conf
Modifique algumas destas opções de configuração:
LoadPlugin="decodeutfkeys"
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
Crie o diretório de dados em awstats para saída de dados estatísticos
Configure o arquivo de configuração de acordo com o exemplo a seguir:
Incluir "common.conf"
LogFile="/home/apache/logs/access_log.%AAAA-24%MM-24%DD-24"
SiteDomain="www.chedong.com"
HostAliases="chedong.com"
Arquivo Padrão = "index.html"
DirData="/home/apache/cgi-bin/awstats/data/"
Resumo do conteúdo: Introdução ao uso do AWStats e algumas instruções de melhoria de configuração. É ótimo ver que a partir do AWStats versão 6.3: os usuários chineses basicamente só precisam ativar LoadPlugin="decodeutfkeys" no arquivo de configuração Basicamente, não haverá problemas estatísticos com os mecanismos de pesquisa chineses. .com', 'search.sina.com', 'search.sohu.com', esses três motores de busca. Contém patches para os principais mecanismos de pesquisa domésticos e definições de spider (basta substituir o diretório original do programa no diretório lib após descompactar)
[Página cortada]
O sistema de estatísticas de log desempenha um papel importante na análise do comportamento do usuário do site, especialmente para estatísticas de acesso por palavras-chave dos mecanismos de busca: é uma fonte muito eficaz de dados de análise do comportamento do usuário. Com o desenvolvimento da Internet ao longo dos anos, as ferramentas de estatísticas de log da WEB tornaram-se cada vez mais maduras e têm cada vez mais funções. Muitos deles são de código aberto e AWStats é um dos melhores.
AWStats: estatísticas avançadas da web
AWStats é uma ferramenta de análise de log WEB baseada em Perl desenvolvida rapidamente no Sourceforge. Comparado com o Webalizer, outra excelente ferramenta de análise de log de código aberto, o AWStats tem as seguintes vantagens:
Interface amigável: você pode chamar diretamente a interface do idioma correspondente de acordo com o navegador (a versão em chinês simplificado está disponível)
Amostra de saída de referência: http://www.chedong.com/cgi-bin/awstats/awstats.pl? config=chedong
Baseado em Perl: e resolve muito bem o problema de plataforma cruzada O próprio sistema pode rodar em GNU/Linux ou Windows (após a instalação do ActivePerl). ). Embora o Webalizer também possua uma versão para plataforma Windows, atualmente carece de manutenção;
AWStats pode usar completamente um sistema para completar estatísticas unificadas em diferentes servidores WEB do seu próprio site: servidores GNU/Linux/Apache e Windows/IIS.
Eficiência relativamente alta: os itens de estatísticas de saída do AWStats são muito mais ricos que o Webalizer, e a velocidade ainda pode atingir cerca de 1/3 do Webalizer. Para um site com milhões de visitas diárias, essa velocidade é suficiente;
Configuração/personalização conveniente: O sistema fornece regras de configuração padrão suficientemente flexíveis, mas razoáveis. Não é necessário modificar mais do que 3 ou 4 configurações padrão para iniciar a execução, e há alguns plug-ins que podem ser modificados e expandidos;
Os designers do AWStats são projetados para "visitas humanas" precisas, de modo que muitas visitas de robôs de mecanismos de pesquisa são filtradas, de modo que os números podem ser menores do que outras ferramentas de estatísticas de log. As visitas de dentro da empresa também podem ser transmitidas por meio de configurações de filtragem de IP. .
Fornece muitas funções estendidas de estatísticas de parâmetros: usar a configuração da série ExtraXXXX para gerar análise de parâmetros específicos da aplicação será muito útil para análise de produtos.
Para mais comparações com outras ferramentas: Webalizer, analógico, consulte:
http://awstats.sourceforge.net/#COMPARISON
[Página cortada]
Lembrete de instalação do AWStats
O modo de operação do AWStats é o seguinte:
Analisar logs: Após a execução, arquive os resultados estatísticos do log em um banco de dados AWStats (texto simples);
Depois, há a saída: em duas formas
Uma é ler a saída do banco de dados de resultados estatísticos por meio do programa cgi;
Uma é executar um script em segundo plano para exportar a saída para um arquivo estático;
A seguir estão dois exemplos de estatísticas de log para um único site:
Um é produzido através de CGI no GNU/Linux,
Um é baseado na exportação de página estática no Windows 2000
Baixar/instalar
http://sourceforge.net/projects/awstats/ Depois de baixar o pacote de instalação:
GNU/Linux: tar zxf awstats-version.tgz
Os scripts e arquivos estáticos do awstats estão no diretório wwwroot por padrão: implemente o programa awstats.pl no diretório cgi-bin em /home/apache/cgi-bin/awstats/
mv versão awstats/wwwroot/cgi-bin /caminho/para/apache/cgi-bin/awstats
#Copie o ícone e outros diretórios de arquivos para o diretório de publicação de arquivos HTML da WEB: /home/apache/htdocs/ e publique-os em
Mais scripts de atualização em lote estão no diretório de ferramentas e podem ser colocados juntos no diretório cgi-bin/awstats/.
Windows 2000: execute no modo de script em segundo plano, descompacte diretamente e vá para o diretório D:AWStats
Copie o diretório do ícone para o diretório de lançamento do IIS: inetpub/icon
[Página cortada]
Formato de log da fonte de dados e regras de truncamento por dia
Para Apache: O formato do log é fácil de configurar: basta configurá-lo para o formato combinado. O truncamento do log é um pouco mais problemático: você precisa instalar a ferramenta cronolog e configurar o log para truncar por dia:
CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combinado
Por exemplo: logs/access_log.20030326
O log está em formato compactado, você pode usar gzip -d < /home/apache/logs/access_log.%YYYY-24%MM-24%DD-24.gz |
Para IIS: por padrão, existem melhores regras de truncamento de log por dia, mas o formato de log do IIS não é adequado para estatísticas AWStats.
Portanto é melhor simplesmente remover todos os campos de log e configurá-los estritamente de acordo com a lista a seguir
Data data
tempo tempo
Endereço IP do cliente c-ip
Nome de usuáriocs-nome de usuário
método-métodocs
Recurso URI cs-uri-stem
Status do protocolo sc-status
Número de bytes enviados sc-bytes
Versão do protocolo versão cs
Agente de usuário cs (User-Agent)
Referencecs(Referenciador)
Em comparação com as configurações padrão do IIS:
As reduções incluem:
Endereço IP do servidor
Porta do servidor
Consulta de URI
Adicionados são:
número de bytes enviados
Versão do protocolo
Referência
Regras de nomenclatura para arquivos de configuração: awstats.sitename.conf
O programa principal do AWStats, awstats.pl, chamará automaticamente o arquivo de configuração do site correspondente de acordo com o nome do site: awstats.sitename.conf
Por exemplo: executar ./awstats.pl -config=chedong chama o arquivo de configuração awstats.chedong.conf no mesmo diretório;
Se -config não for especificado, awstats.conf ou /etc/awstats.conf no diretório atual também será encontrado como o arquivo de configuração padrão.
Portanto, é melhor renomear o awstats.model.conf padrão para awstats.yoursite.conf, por exemplo: awstats.chedong.conf,
Para estatísticas em vários sites, a função de inclusão de arquivo de configuração do AWStats ainda é muito útil. Podemos colocar a configuração comum em um documento e, em seguida, usar a configuração Incluir (suportada após a versão 5.4) para incluir a configuração comum em cada arquivo de configuração específico. . cabeçalho e, em seguida, use outras configurações para substituir as propriedades correspondentes na configuração geral, como:
Incluir = "common.conf"
LogFile="/caminho/para/bbs/access_log"
SiteName="bbs.chedong.com"
Modificação mínima do arquivo de configuração: LogFile SiteDomain LogFormat
Para contar logs do Apache no GNU/Linux, basta modificar estas duas opções: LogFile SiteDomain
GNU/Linux LogFile="/caminho/para/apache/logs/access_log.%AAAA-24%MM-24%DD-24"
Arquivo de log do Windows 2000 = "d:iis_logsW3SV3ex%YY-24%MM-24%DD-24.log"
Esta configuração significa o nome do arquivo de log escrito com o ano, mês e data de 24 horas atrás;
SiteDomain="www.chedong.com"
O nome do site, que está vazio por padrão. Se estiver vazio, o AWStats se recusará a ser executado;
Para logs estatísticos do IIS, é necessária mais uma modificação:
Formato de registro=2
O valor padrão é 1: log do Apache, 2 é log do IIS
[Página cortada]
Outras coisas a serem observadas:
AWStats não filtra arquivos swf por padrão e contará .swf como PageView, portanto, se os arquivos swf no site forem principalmente anúncios, é melhor filtrá-los:
Análise de registros
./awstats.pl -update -config=nomedosite -lang=cn
Por exemplo: ./awstats.pl -update -config=chedong
O arquivo de configuração awstats.chedong.conf será chamado automaticamente.
Produção estatística
GNU/Linux http://localhost/cgi-bin/awstats/awstats.pl? config=chedong
Windows 2000 http://localhost/awstats/awstats.chedong.html
As estatísticas de log são executadas automaticamente
No GNU/Linux: crontab -e: execute todos os dias às 8:10
#updateawstats
10 8 * * * (cd /caminho/para/apache/cgi-bin/awstats/; ./awstats.pl -update -config=chedong)
No Windows 2000: definido para execução às 8h10 todos os dias
D:Perlbinperl.exe d:AWStatstoolsawstats_buildstaticpages.pl -update -config=chedong -lang=cn -dir=c:inetpubawstats -awstatsprog=d:awstatswwwroot cgi-binawstats.pl
Estatísticas de log de vários sites
AWStats vem com uma ferramenta de processamento em lote: tools/awstats_updateall.pl, que pode percorrer todos os arquivos de configuração em um diretório em lotes e executar estatísticas. Portanto, o trabalho restante é principalmente sobre sincronização de logs.
Para vários sites, muitas opções de configuração são repetidas. Se cada arquivo de configuração for modificado e mantido, será muito problemático que o AWStats forneça funções incluídas nos arquivos de configuração desde a versão 5.4, para que possamos definir uma configuração comum, como: comum. conf
Em seguida, a configuração de outros sites é definida como: você pode usar as seguintes opções para substituir a configuração que é inconsistente com o padrão.
awstats.bbs.chedong.conf
Incluir "chedong.common.conf"
Arquivo de log "/caminho/para/bbs_log"
Nome do site "bbs.chedong.com"
awstats.www.chedong.conf
Incluir "chedong.common.conf"
Arquivo de log "/caminho/para/www_log"
Nome do site "www.chedong.com"
HostAliases="chedong.com"
Descrição dos indicadores estatísticos
Visitantes: Estatísticas baseadas em endereços IP únicos de visitantes, um IP representa um visitante;
Número de visitas: Um visitante pode visitar várias vezes em um dia (por exemplo: uma vez pela manhã, uma vez pela tarde), portanto o número de visitas do visitante é calculado com base no número de IPs únicos dentro de um determinado período de tempo (por exemplo: 1 hora);
Número de páginas da web: o número total de visitas puras à página, excluindo imagens, CSS, arquivos JavaScript, etc., mas se uma página usar vários frames, cada frame conta como uma solicitação de página;
Número de arquivos: O número total de solicitações de arquivos do cliente do navegador, incluindo imagens, CSS, JavaScript, etc. O usuário solicita uma página se a página contiver imagens, etc., várias solicitações de arquivos serão feitas ao servidor. o número de arquivos geralmente é muito maior que o número de arquivos;
Bytes: quantidade total de dados transmitidos ao cliente;
Dados do REFERER: O campo de referência (REFERER) no log registra o endereço antes de acessar a página web correspondente. Portanto, se o usuário clicar para entrar no site através dos resultados da pesquisa do mecanismo de busca, haverá a consulta do usuário no. mecanismo de pesquisa correspondente no endereço de log, deste endereço, as palavras-chave usadas nas consultas do usuário podem ser extraídas por meio de análise:
por exemplo:
26/03/2003 15:43:58 123.123.123.123 - GET /index.html 200 192 HTTP/1.1 Mozilla/4.0+(compatível; +MSIE+5.01; +Windows+NT+5.0) http://www.google .com/search? q = chedong
AWStats tem funções relativamente completas em frases-chave de mecanismos de pesquisa e estatísticas de palavras-chave: ele pode identificar mais de 300 rastreadores de máquinas em todo o mundo e pode identificar a maioria dos principais mecanismos de pesquisa internacionais e mecanismos de pesquisa em idiomas locais em muitas regiões.
[Página cortada]
Hackeando AWStats
Instalação do plug-in com base em informações geográficas:
GeoIP e Geo::IPfree (awstats 5.5+)
Tanto GeoIP quanto Geo::IPfree são tabelas gratuitas de mapeamento de país/IP, que são mais precisas e rápidas do que as estatísticas obtidas pela resolução reversa de nomes de domínio DNS. As APIs GeoIP são gratuitas, a biblioteca padrão é gratuita e seu serviço de atualização de dados é cobrado. Não apenas o código do Geo::IPfree é público, mas os dados da biblioteca também são públicos.
Instalação GeoIP:
Baixe a biblioteca C primeiro: GeoIP C após descompactar
%./configure;
#faça a instalação
Em seguida, baixe a biblioteca Perl: GeoIP Perl após descompactar
%perl MakeFile.PL;
#faça a instalação
Instalação Geo::IPfree:
Depois de baixar Geo::IPfree e descompactá-lo
%perl Makefile
%fazer
#faça a instalação
Configuração: Ao ativar plug-ins relacionados ao GEOIP no arquivo de configuração:
LoadPlugin="geoip GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoIP.dat"
LoadPlugin="geoip_city_maxmind GEOIP_STANDARD /home/apache/chedong.com/cgi-bin/awstats/GeoLiteCity.dat"
Atualmente, a MaxMind fornece pacotes de dados GeoIP e GeoIPCityLite gratuitamente: eles podem ser baixados regularmente todos os meses no seguinte endereço
http://www.maxmind.com/download/geoip/database/GeoLiteCity.dat.gz
http://www.maxmind.com/download/geoip/database/GeoIP.dat.gz
[Página cortada]O sistema de estatísticas de log desempenha um papel importante na análise do comportamento do usuário do site, especialmente para estatísticas de acesso por palavras-chave dos mecanismos de busca: é uma fonte muito eficaz de dados de análise do comportamento do usuário. Com o desenvolvimento da Internet ao longo dos anos, as ferramentas de estatísticas de log da WEB tornaram-se cada vez mais maduras e têm cada vez mais funções. Muitos deles são de código aberto e AWStats é um dos melhores.
AWStats: estatísticas avançadas da web
AWStats é uma ferramenta de análise de log WEB baseada em Perl desenvolvida rapidamente no Sourceforge. Comparado com o Webalizer, outra excelente ferramenta de análise de log de código aberto, o AWStats tem as seguintes vantagens:
Interface amigável: você pode chamar diretamente a interface do idioma correspondente de acordo com o navegador (a versão em chinês simplificado está disponível)
Amostra de saída de referência: http://www.chedong.com/cgi-bin/awstats/awstats.pl? config=chedong
Baseado em Perl: e resolve muito bem o problema de plataforma cruzada O próprio sistema pode rodar em GNU/Linux ou Windows (após a instalação do ActivePerl). ). Embora o Webalizer também possua uma versão para plataforma Windows, atualmente carece de manutenção;
AWStats pode usar completamente um sistema para completar estatísticas unificadas em diferentes servidores WEB do seu próprio site: servidores GNU/Linux/Apache e Windows/IIS.
Eficiência relativamente alta: os itens de estatísticas de saída do AWStats são muito mais ricos que o Webalizer, e a velocidade ainda pode atingir cerca de 1/3 do Webalizer. Para um site com milhões de visitas diárias, essa velocidade é suficiente;
Configuração/personalização conveniente: O sistema fornece regras de configuração padrão suficientemente flexíveis, mas razoáveis. Não é necessário modificar mais do que 3 ou 4 configurações padrão para iniciar a execução, e há alguns plug-ins que podem ser modificados e expandidos;
Os designers do AWStats são projetados para "visitas humanas" precisas, de modo que muitas visitas de robôs de mecanismos de pesquisa são filtradas, de modo que os números podem ser menores do que outras ferramentas de estatísticas de log. As visitas de dentro da empresa também podem ser transmitidas por meio de configurações de filtragem de IP. .
Fornece muitas funções estendidas de estatísticas de parâmetros: usar a configuração da série ExtraXXXX para gerar análise de parâmetros específicos da aplicação será muito útil para análise de produtos.
Para mais comparações com outras ferramentas: Webalizer, analógico, consulte:
http://awstats.sourceforge.net/#COMPARISON