Você pode executar o que quiser / puder construir / que caiba em seu hardware no OpenWRT, é o Linux. É claro que é mais fácil instalar a partir dos pacotes disponíveis - a maioria dos roteadores não tem memória suficiente para compilar o software e você teria que compilar o software para a CPU se você quisesse fazer isso na maioria dos casos (embora o WNDR3700 tenha 128 MB) de flash, você pode não ter problemas para compilar diretamente nele).
Em relação a um servidor DNS - há pelo menos bind-server
e bind-tools
disponível para o OpenWRT que você pode usar - se você instalá-los, verifique se tem espaço suficiente e leia isso . Você precisará configurar o encaminhamento para o seu ISP ou outros servidores DNS e editar seus próprios arquivos de zona. Tenho certeza de que há outros - veja os pacotes no site do OpenWRT.
A maneira mais fácil de colocá-lo em sua rede é conectar um cabo Ethernet a uma das portas LAN para outra porta LAN em seu roteador real. Você deve redefinir todas as configurações de firewall e VLAN antes de fazer isso e desabilitar o DHCP. Use a interface da Web do OpenWRT para atribuir um IP no lado da LAN para a unidade e diga a seus outros sistemas para usar esse IP como seu servidor DNS.