As adições de convidados do VirtualBox instalarão /usr/sbin/VBoxService
e você poderá usar isso para forçar uma sincronização de tempo imediata.
$ sudo /usr/sbin/VBoxService --timesync-set-start
O manual do Virtualbox afirma em parte:
The VirtualBox Guest Additions ensure that the guest's system time
is synchronized with the host time.
A sincronização de tempo é descrita em mais detalhes nesta postagem do blog: Melhor sincronização de tempo com adições de convidado do VirtualBox
Eu não executaria o ntpd em um convidado da VM. O convidado deve obter dados de hora do host, não pela rede.
Esta questão também foi levantada e respondida em superuser.stackexchange. com e outros sites da SE.