Você já tentou instalar o NTP na sua VM e deixar que ele cuide disso?
Se você estava usando o VMware, a melhor coisa a fazer seria instalar o vmware-tools
, que fornece a sincronização automática de tempo. No entanto, não sei se existe um pacote semelhante para o VirtualBox.