Dependendo do provedor, sugiro que você abra o navegador da Web e digite o endereço IP do roteador (o padrão é 192.168.0.1 ou 192.168.1.1). Efetue login usando o nome de usuário padrão admin e a senha padrão admin, se isso não funcionar, tente digitá-lo no nome de usuário e faça o login sem digitar a senha. Então dependendo do seu provedor você tem um menu onde você pode escolher um monte de coisas, aqui você também pode bloquear sites e outras coisas que você está procurando.
Veja estes links para mais ajuda:
Como bloquear um site usando seu roteador
Como configurar o controle de acesso para o bloqueio de sites - Este é para um roteador sem fio TP-Link, mas é praticamente o mesmo, não importa qual provedor você tenha
Como bloquear sites indesejados do seu roteador - Este é apenas um wikihow, é bonito fácil de entender
Espero que tenha ajudado! Se você ainda precisar de ajuda, recomendo que você forneça algumas informações sobre o roteador e o provedor que está usando.