Sem mais informações, é difícil dar uma resposta completa. Você pode postar o arquivo ntp.conf completo para o servidor quebrado? E postar uma lista do offset mostrando o crescimento ao longo do tempo?
Não sei por que você tem os dois computadores remotos como preferidos?
Existem algumas coisas que você pode fazer para melhorar a configuração:
Para começar, você deve remover a entrada do relógio de referência LOCAL:
server 127.127.1.0 minpoll 4
fudge 127.127.1.0 stratum 10
Em seguida, você deve remover as entradas de burst e alterá-las para iburst. Consulte os documentos da ntp no burst para obter mais informações.
Finalmente, você realmente precisa ter três fontes. Um homem com um relógio sabe que horas são, um homem com dois relógios nunca tem certeza. Ao adicionar um terceiro servidor de horário, seus clientes poderão quebrar o empate se os dois servidores não concordarem com o tempo.