A solução mais fácil seria configurar o servidor DNS (normalmente encontrado nas definições de configuração do roteador) para aquele que faz a filtragem necessária (um dos exemplos poderia ser OpenDNS, link ).
Você pode configurar algo semelhante no próprio roteador, mas não é tão simples. Você precisará instalar um firmware alternativo (como o OpenWRT, consulte link ) e, em seguida, configurar o DNSMasq para resolver apenas em domínios especificados.
É claro que ambos os sistemas podem ser enganados se alguém configurar o servidor DNS no próprio computador, mas enquanto você deixar a criança agir apenas em uma conta limitada que deve ser OK.