Depois de tentar algumas opções diferentes em ntpd
ainda ter um atraso muito grande, mudei para cronizo . Meu servidor NTP permaneceu inalterado. Usar chrony me deu uma latência de < 1ms o tempo todo. Eu aumentei o tempo de pesquisa como recomendado por chrony tendo o seguinte arquivo de configuração
### chrony.conf
# Add server
server 192.168.0.11 iburst minpoll -6 maxpoll -6 filter 15 xleave
hwtimestamp eth0 minpoll -6
# Logging
logdir /var/log/chrony
log measurements statistics tracking
makestep 0.1 3
driftfile /etc/chrony.drift
E comecei o deamon com ./chronyd -f /etc/chrony.conf