Os servidores de tempo tomam alguns exemplos para garantir que estão lendo os servidores upstream corretamente e para definir seu próprio estrato corretamente. Às vezes demora um pouco. Geralmente menos de 10 minutos.
Quando você receber um erro como esse, verifique primeiro o estrato que seu servidor NTP está relatando. Há um limite de quão baixo o windows irá para definir seu tempo a partir de um servidor NTP, mas eu não me lembro do topo da minha cabeça.