Você também precisará propagar seus nomes de host + IP para o seu DNS local. Por padrão, ele não poderá resolver nomes de host sem, pois é mais provável que seja apenas algum tipo de proxy para o DNS do seu provedor. Como não posso dizer, o que você está executando como roteador, eu recomendo verificar manual como fazê-lo.
Além disso, você pode colocar seus hosts no arquivo hosts (o Windows deve ser algo como c: \ windows \ system32 \ drivers \ etc \ hosts). Wikipedia está tendo um artigo sobre. No entanto, isso precisaria atualizar o arquivo hosts em todos os sistemas que tentassem se conectar por meio do nome do host.
O caminho do Anoter poderia ser usar alguma abordagem pseudo-estática: Chenge a configuração do DHCP do roteador de uma forma, hosts recebendo o mesmo IP em cada solicitação DHCP. Isso pode ser feito fixando MAC-Adresse ... mas também precisa de alguma pesquisa no manual.