Se você quiser conectar apenas 2 máquinas, acho que é mais fácil e melhor usar arquivos de hosts locais em vez de DNS.
Faça o roteador DHCP dar sempre o mesmo IP às máquinas (ou use IP fixo ao invés de DHCP). Na máquina Ubuntu, você pode editar o arquivo com sudo nano /etc/hosts
e adicionar uma linha como 192.168.xxx.xxx <the_other_computer_name>
, onde o IP é o IP local do outro computador e outra linha similar ao nome da máquina local e IP.
Faça o mesmo na máquina windows (o arquivo host é \windows\system32\drivers\etc\hosts
)