O Hyper-V inclui o serviço de sincronização do relógio do sistema que é ativado por padrão; em outras palavras, seu ntpd ou systemd-timesyncd está lutando com o Hyper-V sincronizando o tempo da VM guest com o horário do sistema host.
Antes de implementar qualquer sincronização de tempo baseada em NTP, você deve desativar a sincronização de tempo do Hyper-V.