O NTP normalmente paira na faixa de < 10-20ms em uma rede "razoável". Se você estiver usando o cliente NTP interno do Windows, essa é uma história diferente. O cliente interno do Windows destina-se apenas a manter o tempo sincronizado o suficiente para o Kerberos, 5 minutos. Eles não tinham intenção de manter um tempo muito preciso; então 100ms está indo muito bem.
Se você precisar de um tempo mais preciso que 100 ms, instale um cliente NTP real, como os binários Meinberg do NTPd de Referência do ISC.
Se você precisa de um tempo ultra preciso, deve estar olhando para o PTP (Precision Time Protocol, protocolo de tempo de precisão). Esteja avisado que o PTP é muito mais complicado que o NTP, portanto, a menos que você precise de um registro de data e hora ultra preciso ou algo similar, o NTP é altamente recomendado.