Primeiro vocês estão fazendo "engenharia reversa":
Você está tentando entender como o YouTube funciona e "adaptá-lo" às suas necessidades.
SE você conseguir que isso funcione, pode ser por um curto período de tempo. Serviços como o YouTube são ativamente alterados para melhorá-lo.
Por outro lado, o método que o YouTube usa para funcionar provavelmente será usado por muitos outros programas (bloqueando-os também!).
O que você poderia fazer (não tenho certeza se isso é possível no pfsense) é usar o nome do host [youtube.com] (ou até mesmo usar um intervalo IP) para restringir isso em quantidade de dados usados ou velocidade ou o que for.