Não vejo por que você não pode executar o ntpd no sistema ou fazer um cronjob em um ntpdate para ser executado a cada dois ou três minutos. Lembro-me de que o desvio do clock era um problema em muitos produtos de VMs de uma vez ou outra, e a solução sempre foi garantir que as adições / utilitários e o produto da VM estivessem no mesmo nível.
Você também pode ver se a instalação de uma nova VM com uma versão atualizada do Ubuntu afeta o desvio do relógio ou se há algo estranho com hyperthreading no seu sistema ou alguma outra extensão de processador ativada no BIOS.
Minha abordagem pessoal seria analisar a sincronização de horário do cron periodicamente, já que o NTP às vezes pode falhar sem me informar ou executar em horários aleatórios, o que seria ótimo quando o relógio não estivesse distorcido como louco, mas nesse tipo de situação. ... pode ser mais prático apenas forçá-lo a ser executado de forma consistente. Não vai doer nada além de mastigar alguns ciclos extras de processador.