Tentando sincronizar meu tempo corretamente e me deparo com esse erro em todos os servidores ntp que eu uso.
Eu tenho meu firewall desativado, todas as portas abertas no meu roteador (UDP e TCP) e usei vários servidores NTP diferentes. Eu fiz o ping no servidor para ter certeza de que recebi uma resposta, usei e ainda recebo esse problema.