Você está tentando executar um servidor ntp completo em uma máquina virtual. As máquinas ntp e virtual não funcionam bem juntas, pois o relógio emulado viola as suposições feitas pelo ntp. Em vez disso, execute ntp no host e sntp nas máquinas virtuais para sincronizar com o host. Isso não é tão preciso, mas não tem os problemas de sincronização da execução do ntp em uma máquina virtual.