Se todos os seus computadores estiverem executando o Windows Vista ou superior, você poderá se referir a eles pelo nome já. Se você não tem certeza sobre os nomes, basta clicar em Iniciar- > Rede no Vista / Win7.
Se você tiver uma mistura de sistemas operacionais, precisará editar os arquivos de hosts locais em cada máquina (\ windows \ system32 \ drivers \ etc \ hosts para máquinas Windows, / etc / hosts para outros), OR configure um servidor DNS em sua rede e defina seu servidor DNS local como o DNS padrão em seu roteador. E o computador antigo (mesmo REALMENTE antigo como um pentium 60) rodando linux pode fazer isso muito bem. Também existem servidores DNS para windows, mas não estou pessoalmente familiarizado com nenhum deles.
EDIT: Para completar, você também deve considerar a instalação de um sistema operacional alternativo no roteador, caso ele seja compatível. Estou rodando o Tomato, mas o DD-WRT é provavelmente o mais popular. Veja esta página da Wikipedia para mais informações:
Obrigado a leif81 por mencionar isso primeiro.