O atraso não significa um atraso entre o seu computador e a fonte. Em vez disso, esse é o tempo necessário para uma viagem de ida e volta da mensagem ntp.
Existe uma incerteza fundamental sobre como sincronizar dois relógios quando as mensagens entre eles demoram um pouco mais de zero. O NTP tenta fazer o melhor palpite possível. No entanto, se, por exemplo, as mensagens de rede tiverem um tempo drasticamente diferente em cada direção, elas não serão precisas.
Em outras palavras, você não deve se preocupar com o valor do atraso. É uma estatística fornecida para pessoas ajustando o NTP e não representa o nível de discrepância.
Veja, por exemplo, o link