As práticas recomendadas indicariam que os servidores devem ter um endereço IP estático. Depois que as entradas de DNS para esses IPs estáticos tiverem sido criadas, você não deverá ter nenhum problema em resolvê-las pelo nome do host.
Se você realmente deseja dar a eles endereços DHCP reservados, você precisará configurá-los em seu servidor DHCP. As reservas DHCP são baseadas em endereços MAC, portanto, certifique-se de tê-las ao configurá-lo.
Qual é o sistema operacional do servidor que está distribuindo o DHCP?