A página do manual do MPlayer usa esta sintaxe:
mplayer -ao pcm:file=test.wav test.avi
Se você quiser fazer coisas como limitar a taxa de amostragem, pode usar uma opção -srate
(como -srate 44100
para o áudio do CD do redbook).
Mas, se você o tiver instalado, sugiro usar ffmpeg
porque, na verdade, é para fazer essas coisas.