O que você está perguntando é totalmente possível, mas altamente desencorajado, IMO.
Visão geral
Você teria que definir seu endereço IP para o seu roteador como SOA para o seu domínio e depois especificar os registros NS que apontam para o IP do seu roteador. Eu costumava fazer isso alguns anos atrás usando um modem a cabo só para ver se eu poderia fazê-lo.
A outra área em que você pode ficar desarmado é que seu ISP pode não permitir as portas DNS em sua rede.
Linha de fundo
Supondo que você pode criar o registro SOA diretamente ou quem é seu registrador de domínio permite que você defina registros NS para seu domínio (todos permitem isso normalmente através de suas IUs da Web), você pode fazer o que estiver pedindo. / p>