A largura de banda é diferente da latência. Por exemplo, se eu colocar um monte de discos rígidos em um avião, posso mover centenas de terabytes em qualquer lugar do mundo em apenas algumas horas. Mas o tempo até o primeiro byte também é medido em horas. Se eu copiei os dados pela Internet, o tempo até o primeiro byte pode ser milissegundos, mas levaria mais do que algumas horas para mover todos os dados.
O VLC começa a reproduzir o arquivo e copia alguns segundos de vídeo, pára o download e começa a tocar, quando esse buffer está começando a ficar baixo, ele volta para a rede para obter mais dados, mas se for necessário mais tempo para obter esses dados, então é tempo restante no buffer, ele pára. daí o termo buffering. Deve haver uma configuração no VLC para aumentar o tamanho do buffer (cache) para reprodução de alta latência.