Depende do modelo de roteador sem fio que você possui. A LinkSys (e alguns outros fabricantes) fornecem alguns modelos de roteadores sem fio que possuem recursos de controle de sites incluídos, embora a maioria deles seja sobre segurança (pense em "NetNanny").
Eu não vi esse modelo ultimamente, e como os modelos mudam tão rapidamente, uma sugestão baseada em um modelo anterior provavelmente não seria muito útil para você de qualquer maneira. A melhor aposta é dar uma olhada nas ofertas de produtos nos sites dos fabricantes ou perguntar diretamente a eles. Uma coisa de que me lembro com certeza é que os modelos que suportam esses recursos também têm um preço mais alto.
Alternativamente, você pode configurar um servidor Unix ou Linux com o excelente servidor proxy Squid, e usá-lo para bloquear / permitir certos sites baseados em seus nomes de domínio na Internet. O Squid pode ser configurado para funcionar de forma transparente entre o roteador e a Internet (se você fizer isso, certifique-se de configurar um firewall realmente bom como "pf" e seja paranóico bloqueando tudo do lado público [e apenas exceções adicionais para aqueles protocolos que você pretende especificamente apoiar] - esta é a internet depois de tudo).
Embora um servidor Unix / Linux que execute o Squid ainda possa ser um pouco mais caro (a menos que você já tenha um computador disponível suficiente para isso - Unix, Linux, pf e Squid são todos gratuitos e código aberto), ele fornecerá um grau muito maior de flexibilidade para bloquear / permitir acesso a mais de "apenas alguns sites".
P.S .: É importante observar que o HTTPS é geralmente imune a esses bloqueios, já que a criptografia também encapsula todos os cabeçalhos HTTP (incluindo o nome do host do site que está sendo solicitado), portanto, isso só será efetivo para o HTTP. A maneira de fazer isso funcionar para HTTPS também é interceptar os certificados SSL e substituí-los com os seus próprios para que você possa descriptografar, insepct e criptografar novamente, mas isso provavelmente causará muitos problemas imprevistos. (e reclamações para usuários que percebem o que está acontecendo).