Eu tenho uma VM LTS Ubuntu 14.04.4 rodando sob Vagrant e VirtualBox. Ao comparar seu tempo com o servidor, vejo coisas assim:
$ ntpdate -q ntp.ubuntu.com
server 91.189.94.4, stratum 2, offset -0.527602, delay 0.11812
server 91.189.89.198, str...
03.08.2016 / 22:52