Isso é por desigm (assumindo que você está mudando o tempo em uma quantidade significativa). Veja a página ntpd nan ...
-g Normally, ntpd exits with a message to the system log if the offset exceeds the panic
threshold, which is 1000 s by default. This option allows the time to be set to any value
without restriction; however, this can happen only once. If the threshold is exceeded
after that, ntpd will exit with a message to the system log. This option can be used with
the -q and -x options. See the tinker command for other options.
Se você alterar a hora no cliente NTP manualmente por uma quantidade suficiente, então o daemon NTP diz que algo estranho está acontecendo e sai. Normalmente, o relógio do sistema iria apenas derivar por pequenas quantidades e o ntpd lidaria com isso.
Se você ainda tiver problemas, tente iniciar o ntpd com o sinalizador -D (para obter informações de depuração) - isso deve mostrar o que está acontecendo com mais detalhes.
Se o cliente NTP for uma máquina virtual, você geralmente precisará tomar medidas especiais para evitar que dois sistemas tentem controlar o tempo - depende da plataforma que você está usando.