Para uma rede tão pequena eu acabei de usar
-
/etc/hosts
(no Linux e OSX) ou -
c:\windows\system32\drivers\etc\hosts
(no Windows).
Se a rede fosse muito maior, eu implantaria dhcpd
e named
em uma das caixas Linux e pararia de usar o roteador como servidor DHCP e DNS.