Você pode definir o cache do mplayer com o argumento -cache
na linha de comando, assim como especificar o preenchimento do cache inicial antes da reprodução com '-cache-min'.
Tente:
$ mplayer -cache 8192 -cache-min 80 <url>
p.s. 8192 deve ser suficiente, no entanto, você pode aumentar esse número de acordo com suas necessidades. Note que o preenchimento do cache inicial sem a opção '-cache-min' é de apenas 20%.