Eu configurei o Zabbix em uma máquina virtual em Slicehost e ficamos muito satisfeitos com a solução. Como é fisicamente separado de nossos servidores de produção, ele me alertará mesmo que a rede de produção tenha problemas. A máquina virtual do Slicehost é barata e fácil de fazer backup.
OZabbix é ótimo porque pode monitorar o tempo de resposta do site e também a CPU, o disco e praticamente qualquer outra coisa. O Zabbix armazenará dados históricos para que você possa ver como as estatísticas evoluem ao longo do tempo. Eu também prefiro o Zabbix ao Nagios porque o Zabbix tem uma poderosa interface de configuração baseada na web.