Não, os relógios desligados não quebrarão o relacionamento. No entanto, se os relógios mudassem drasticamente, isso causaria erros no log, eles se pareceriam com:
heartbeat: 2004/11/10_21:08:49 info: Clock jumped backwards. Compensating.
Mas isso não mataria o primário.
O que parece é a comunicação entre os servidores. Especificamente, parece que o server1 não podia mais enviar dados ou o server2 não estava recebendo corretamente. Isso pode ser devido a algum problema de buffer. Você está rastreando o espaço do buffer de rede? (via snmp ou netstat) Ou talvez um problema de rede em algum lugar, erros switchport?
Quando você diz que o site estava inoperante, você tem monitoramento testando o serviço em cada servidorX para um IP específico para esse servidor? Ele indicava se algum dos servidores estava inativo durante esse período, além do VIP não estar funcionando? Os gráficos de tráfego ou as contagens de erro / queda mostram algo interessante para esse período de tempo?