O atraso é compensado pelo ntp, desde que seja simétrico, ou seja, semelhante para ambas as direções, por isso é menos importante que o jitter, que impede que o relógio local saiba qual é o tempo real.
Normalmente, o ntp é configurado para usar vários servidores e, como você observou, você pode confiar nele para escolher o melhor. 3 servidores seria melhor, apenas no caso de um deles afirmar que é na próxima semana.