Tente definir networkwait=1
no seu ntpconfig, se a sincronização de tempo na inicialização não estiver sendo concluída corretamente. também pode ser uma boa idéia adicionar iburst
ao final da declaração do seu servidor em seus clientes ntp.conf.
desde que você está no Ubuntu, que envia clientes com o ntpupdate por padrão, e que tenta sincronizar a inicialização, é provável que a rede de seus clientes ainda esteja inativa quando a solicitação ocorrer. O ubuntu também atualiza o horário diariamente por meio de um cronômetro.
link
Minpoll e maxpoll parecem ter muito a ver com o funcionamento interno do NTP, mas eles não parecem ser coisas que você deseja mudar sem um profundo entendimento das implicações. Eu iria restaurá-los para o padrão por enquanto, e tente o conselho acima uma vez antes de manipulá-los ainda mais.
boa sorte