But the youtube keep running. But after some time of inactivity (about 15 min) youtube is blocked.
Isso provavelmente fará com o armazenamento em cache da resposta. Se eu já pedi algum nameserver para o endereço de example.com há apenas 5 minutos, tenho certeza que não mudou. yahoo.com IN A tem um tempo de vida (TTL) de 21 minutos, portanto, o registro pode ser armazenado em cache até 21 minutos neste caso.
Filtrar o tráfego HTTPS não é uma tarefa fácil, pois qualquer informação pode estar contida no fluxo TLS, até mesmo uma conexão com um servidor proxy no qual o filtro não está ativo.
Uma opção seria bloquear todos os pacotes para o (s) endereço (s) IP correspondente (s) a example.com . Isso provavelmente se adequaria ao que você quer, mas diga se example.org é um site no (s) mesmo (s) endereço (s) IP, então você bloqueia isso inadvertidamente também.
Se você for o administrador da máquina da qual essas solicitações são originadas, haverá muito mais opções, no entanto iptables não seria de uso nessas situações, pois só estará em contato com o tráfego TLS.