Meu provedor fornece um endereço IPv4 e IPv6 e eu desativei completamente o IPv6 em meu próprio roteador, o que interrompeu todos os problemas.
Eu acho que deve ser uma configuração defeituosa de algo relacionado a IPv6 e QOS dentro do meu roteador ou no meu provedor. E isso acontece apenas com youtube porque é um dos poucos sites, que já faz IPv6.