Eu diria que não há um método de 1 minuto para encontrar o motivo exato.
Tivemos problemas semelhantes antes em nosso ambiente ESXi. Para encurtar a história, descobrimos que o relógio do host do ESXi se movia muito e as VMs convidadas estavam sincronizando o tempo do host ESXi e do servidor NTP upstream. Isso causou NTPd em VMs confusos, portanto, morreu com muita freqüência.
Também encontramos em alguns casos raros que a perda aleatória de pacotes também fez com que o NTPd fosse encerrado porque o tempo de ida e volta entre o servidor e o servidor NTPd upstream é usado para calcular o tempo de drift.
Em dois casos acima, se o NTPd vir um desvio de tempo enorme, por exemplo, mais de 1.000, ele sai por padrão. opção -g ajudará um pouco.
-g Normally, ntpd exits with a message to the system log if the offset exceeds the panic threshold, which is 1000 s by default. This option allows the time to be set to any value without restriction; however, this can happen only once. If the threshold is exceeded after that, ntpd will exit with a message to the system log. This option can be used with the -q and -x options. See the tinker command for other options.
Você pode dar uma olhada no log do sistema , que deve ter algumas palavras que podem lhe dar uma dica. Você também pode monitorar a saída "ntpq -p" para ter uma idéia aproximada de como o offset se desenvolve.