Existem 2 maneiras de controlar a proporção do mplayer.
Você pode definir a proporção do monitor e a proporção do vídeo.
Para definir a proporção do monitor
mplayer -monitoraspect <ratio> <file.avi>
Para definir a proporção do filme
mplayer -aspect <ratio> <file.avi>
No seu caso, mplayer -aspect 4:3 <file.avi>
deve evitar que ele seja redimensionado.