Eu não sei nada sobre Linux / Unix, mas posso dizer que os servidores não devem estar sincronizando entre si como no serverA usa serverB como servidor de tempo e serverB usa serverA como servidor de tempo, pois isso pode causar problemas. Escolha um servidor para ser o servidor de horário autoritativo e configure o outro servidor para sincronizá-lo.
O tempo é relativo. Os servidores e clientes não sabem e não se importam se estão ou não usando a hora correta, conforme determinado por algum relógio externo. Em um sistema de loop fechado, o tempo é o que você configura para ser. Os servidores e clientes considerarão que seja a hora correta.