As configurações com as quais você está tendo problemas são configurações DHCP para configurar clientes e, sim, colocando um roteador dentro do modem / roteador, você pode assumir as atribuições DHCP para que elas venham do seu novo roteador, em vez do provedor fornecido. . Eu não sei especificamente sobre a Belkin (nunca comprarei nada da Belkin), mas eu esperaria que qualquer roteador que valesse a pena permitisse que você especificasse os endereços de servidor DNS passados para os clientes.
Algumas solicitações de DNS de proxy de roteador, para resolver problemas com o NAT UDP, para que você tenha a opção de configurar o servidor DNS para o próprio roteador (apontando para o OpenDNS). Nesse caso, a configuração do DHCP passada para os clientes seria o endereço do roteador, e o roteador executaria a pesquisa no próprio OpenDNS e retornaria as informações da consulta ao cliente.