Você está criando um fuso horário insular. Na verdade, você está criando um novo servidor Stratum 1 para sua rede, e isso pode ser complicado.
A correção para isso é usar:
tos orphan
No seu arquivo ntp.conf. Isso diz ao NTP que seu fuso horário está órfão. Mas você precisa de uma nova versão suficiente (4.2.2) para usá-la. Se você não pode usar, use:
server 127.127.0.1
fudge 127.127.0.1 stratum 1
Também conhecido como 'Relógio Local Indisciplinado'. Embora eu recomende strongmente a criação de pool de tempo, vários servidores que fornecem tempo mutuamente. Isso ajudará a desacelerar o movimento do relógio.
server 127.127.0.1
peer 192.168.100.66
peer 192.168.100.69
E, finalmente, se for possível, o uso de uma fonte de tempo do GPS é muito bem suportado e manterá sua ilha do tempo próxima da verdadeira.