A maneira simples é adicionar o nome do servidor e o ip ao arquivo de hosts. Eu não acho que seu roteador possa reatribuir zonas DNS.
A segunda maneira de usar o servidor DNS de ligação no modo misto (como servidor em cache e autoridade) em seu servidor. Em seguida, configure o servidor DHCP do roteador para o novo servidor DNS.