A maneira mais rápida (presumindo que você não tenha muitos servidores) é editar /etc/hosts
em todos os servidores envolvidos, para que todos os servidores saibam o FQDN de todos os outros servidores.
Se você precisar de algo além disso, ou se houver servidores suficientes envolvidos no acima para ser impraticável, talvez você queira configurar um servidor DNS local que atue como um mestre para sua zona e encaminha quaisquer solicitações para qualquer outra coisa. para o servidor DNS que eles estão usando para o dia.