Parece que o ntpd tem uma ideia incorreta do desvio do clock da máquina virtual e está compensando incorretamente o desvio. Pare o ntpd, exclua o driftfile
e reinicie o ntpd.
Se isso não corrigir o problema, considere a possibilidade de mudar para o chrony. Este é o cliente NTP padrão no EL 7 e está disponível no EPEL para EL 6.