Como monitorar seu site “inteiro”?

Question

Examinei os fóruns aqui e fiquei imaginando qual seria a melhor prática em termos de monitoramento do status do seu site "inteiro". (não apenas a página inicial) Em termos de prioridade, se sua página inicial estiver inativa, normalmente todo o seu site estará inativo. Mas em um nível muito mais granular, gostaria de saber como monitorar se uma seção ou página do nosso site não está respondendo.

Não temos um orçamento para ferramentas avançadas, como webmetrics ou gomez. Eu olhei para o pingdom e bello e ambas as ferramentas parecem apenas verificar se a sua página inicial está funcionando.

Somos uma vitrine, que hospeda um site de mais de 300.000 páginas. Eu entendo que não é realista monitorar cada página. Faz sentido apenas executar um script para verificar se as páginas principais do site estão atualizadas? Por exemplo, se verificarmos se a página de vestuário principal está ativa, podemos supor que suas subpáginas (roupas masculinas, roupas femininas) também estão em alta.

Qualquer conselho seria muito apreciado. Obrigado!

    

Answer 1

Você pode usar o Nagios. Existe um plugin check_http que você pode usar várias vezes. Dê a uma instância uma URL do link , outra do link , um terço da link , etc. Dê também uma instância do link verifique o uso do FQDN.

Da documentação do check_http: Este plugin tentará abrir uma conexão HTTP com o host. Conexões bem sucedidas retornam STATE_OK, recusas e timeouts retornam STATE_CRITICAL outros erros retornam STATE_UNKNOWN. Conecta-se com êxito, mas mensagens de resposta incorretas do host resultam em valores de retorno STATE_WARNING.

    

Answer 2

No Apache, e tenho certeza que no IIS (ou Apache no Windows), você pode interceptar as páginas de erro da série 5xx em seu próprio manipulador. Se você estiver executando o verniz / squid / pound na frente, poderá configurar um host de fallback que exiba uma determinada página em uma falha. Esse host de fallback pode ser um servidor da web de pilha pequena e muito simples que não faria nada além de definir um status de uma página que você tenha monitorado. O manipulador 5xx poderia interceptar e registrar esses dados em algum lugar também.

Não sou muito fã do erro 5xx que gera e-mails / paginação devido ao fato de que o servidor de banco de dados pode estar inativo e cada uma das suas páginas de 300k pode começar a gerar erros instantaneamente. No entanto, interceptar o manipulador e usá-lo para gravar / modificar uma página ou status monitorado economizaria o incômodo de gerar uma amostra enorme de suas páginas.

    

Answer 3

Embora possa não ser a solução "mais limpa", você poderia simplesmente escrever uma única página (de status) que verifica todas as várias camadas com seu sistema? Se esta página retornar qualquer coisa, exceto algum tipo de mensagem de sucesso, significa que há uma falha em algum lugar na camada e você pode ser alertado.

Mais uma vez, não diga que se trata de uma solução simples - ou mesmo da solução mais robusta -, mas se precisar de algo e precisar de algo rápido, isso pode acontecer.

    

Answer 4

Tanto as soluções de Kevin quanto as de Malonso parecem boas para serem combinadas ...

A solução de Malonso seria como uma espécie de 'testint unit' que testa toda a lógica, conexões, permisões e assim, e dá um OK ou um FAIL. Isso, além disso, como Kevin diz, puxando algumas páginas críticas e vendo que tudo está bem ...

Como as páginas podem ser carregadas corretamente, mas não funciona bem. Talvez as páginas carreguem bem, mas o banco de dados parou e algum conteúdo está vazio, ou alguns módulos não estão funcionando e algum conteúdo vai mal ...

Então eu gostaria de escrever alguns testes em php, asp ou o que você estiver usando, e também puxar páginas com NAGIOS ou algo semelhante ...

    

Answer 5

Uma ideia é usar o SEO Toolkit ( link ) que rastreará todas as páginas do seu site e informará o status código e o conteúdo também.
Isto não só lhe dará bons relatórios que você pode analisar mais tarde, mas você pode até fazer um script e monitorar o número de 404 ou 500 retornos do seu servidor para que você possa saber quais páginas estão tendo problemas.

Eu escrevi um blog para mostrar como você pode fazer isso facilmente a partir de uma linha de comando que poderia ser adicionada como uma tarefa agendada: link

    

Answer 6

Você pode tentar o link para monitoramento externo, semelhante ao webmetrics e gomez, mas mais intuitivo e vários recursos valiosos.

Você também pode consultar o site www.splunk.com para minerar seus registros, mas isso não lhe dirá se seus usuários não podem acessar seu site.