VM e desvio do tempo do host durante a suspensão

Question

Estou executando o Ubuntu 16.04 no meu laptop, com o Ubuntu 14.04 em uma VM do Vagrant no VirtualBox. Meu laptop está executando o SystemD e o horário da rede está ativado:

naftuli@reprisal:~$ sudo timedatectl status
      Local time: Sun 2016-12-25 15:21:33 PST
  Universal time: Sun 2016-12-25 23:21:33 UTC
        RTC time: Sun 2016-12-25 23:21:33
       Time zone: America/Los_Angeles (PST, -0800)
 Network time on: yes
NTP synchronized: yes
 RTC in local TZ: no

A VM, sem SystemD, está executando o daemon NTP:

vagrant@ubuntu-14:/vagrant$ wololo ntpdc -c sysinfo
system peer:          0.0.0.0
system peer mode:     unspec
leap indicator:       11
stratum:              16
precision:            -19
root distance:        0.00000 s
root dispersion:      0.00717 s
reference ID:         [73.78.73.84]
reference time:       00000000.00000000  Mon, Jan  1 1900  0:00:00.000
system flags:         auth monitor ntp kernel stats
jitter:               0.000000 s
stability:            0.000 ppm
broadcastdelay:       0.000000 s
authdelay:            0.000000 s

No entanto, se e quando eu suspender meu laptop, o tempo da VM aumenta drasticamente, e apesar do meu laptop e da VM supostamente sincronizarem com os servidores de horário NTP, eu tenho um grande problema:

Para fins de comparação, nesta captura de tela, o horário do host é 23:23:56 , o tempo da VM é 23:22:47 .

Importante, esse desvio de relógio significa que as chamadas da API da AWS falham devido à dependência criptográfica de relógios precisos.

Como posso minimizar ou eliminar o desvio do relógio entre a VM e o tempo real?