Percebi que quando tentei reproduzir o filme, sempre recebi esta mensagem
VobSub: Can't open IFO file
Acontece que quando você extrai legendas com a opção "-vobsubout" ele gera apenas um arquivo ".sub" e ".idx", mas para exibir as legendas corretamente o vobsub também precisa de um arquivo ".ifo". O Mencoder não irá produzi-lo, mas se você fornecer ao mplayer a opção "-o caminho para o arquivo dvd ifo" ele será exibido corretamente, no meu caso como
mplayer movie.1 -vobsub en -ifo ./VIDEO_TS/VTS_01_0.IFO
Então eu fiz
cp ./VIDEO_TS/VTS_01_0.IFO en.ifo
me dando os 3 arquivos en.sub, en.idx e en.ifo. Então jogou corretamente com apenas
mplayer movie.1 -vobsub en
Por fim, alterei os três arquivos com o nome "en" para "movie" para combinar com "movie.1" e descobri que as legendas são reproduzidas automaticamente com apenas
mplayer movie.1