Sugiro testar isso em uma conexão VPN de qualidade no mesmo circuito ISP. Se o desempenho melhorar, então definitivamente o seu ISP está estrangulando seus pacotes de vídeo OU usando roteamento sub-ótimo para o site de vídeo. Eu li que o Netflix está em uma cruzada contra VPNs, então é melhor checar em um serviço de vídeo diferente do Netflix se isso não funcionar. Então, é melhor usar uma conta de avaliação de VPN.
Se o teste determinar que o ISP tem um problema real, uma solução sustentável pode ser falar com ele sobre isso OU descartá-lo para um melhor.
Veja abaixo: