Eu suspeito que é mais que o YouTube cancelou o fluxo de download. Se não o fizessem, eu pensaria que a largura de banda que você usava quando você a suspendia estaria aguardando indefinidamente que você se reconectasse e ficasse indisponível para outro usuário.
Pense em como seria difícil para você assistir a um vídeo no Youtube se 50% da largura de banda dos servidores estivesse reservada para um monte de computadores que não se conectariam novamente pelas próximas 12 horas.
Eu posso estar errado aqui, mas eu ficaria surpreso se eu não estivesse muito perto da verdade.
P.S. Você estaria certo sobre o cache ter um pouco do vídeo carregado no buffer e quando isso acontece é quando o vídeo congela, mas não é solucionável se o fluxo de vídeo que estava sendo carregado tiver terminado.