--file-caching parece ser o que você procura. Você inicia o vlc a partir da linha de comando? Então você pode adicionar
alias vlc="vlc --file-caching=10000"
para o seu .bashrc.
Dentro da GUI, você encontrará a opção em Ferramentas- > Preferências- > Mostrar configurações: "Todos" - > Entrada / Codecs e, em seguida, rolando para baixo.