Com certeza, o seu roteador não é um servidor DNS, é um encaminhador / resolvedor de DNS. Ele resolve consultas DNS externas para clientes internos, mas não hospeda nenhuma zona DNS.
Você precisará instalar e configurar um servidor DNS interno e uma zona para seus clientes internos e configurar seu servidor DHCP para registrar os registros A em nome dos clientes DHCP. Você desejará configurar as opções de DHCP para o sufixo DNS correto (para corresponder à sua zona DNS) para que a zona seja preenchida corretamente com os registros A de seus clientes DHCP internos.