Dependendo de como o tempo crítico está em seu ambiente, você pode não querer que o server1 seja um ponto único de falha. Se você tiver que colocá-lo off-line para manutenção ou reparo por um período prolongado, seus colegas deixarão de sincronizar. É tudo a partir daí.
Por que não ter server1, server2, server3, server4 todos sincronizados com 4 ou 5 pontos de Internet. Então, sua rede interna pode fazer referência a esses sistemas?
A sabedoria convencional diz que 3 é o que você precisa para o quorum, mas você precisa ser tolerante com pelo menos um ser determinado como falsete ou ficar off-line.
Por favor, veja; 5.3.3. Quantidade de servidores de tempo upstream
Além disso, você menciona estranheza e problemas com sua configuração atual. Ajudaria a ver a saída de ntpq -p
para os hosts relevantes.