Você não disse qual jogador está usando. Com toda a probabilidade, é o seu jogador que não consegue exibir a proporção correta. 1024x576 é não obrigatório. Um sinalizador Aspect ratio é obrigatório. Se no entanto esse sinalizador estiver faltando, (suponho que não está faltando) em ffmpeg , ele pode ser definido usando -aspect 16:9 . No Handbrake use um -p no final do comando:
./!HandBrakeCLI -i dvd -o movie.mp4 -p
Na GUI, use o parâmetro "Strict" nas opções Anamorphic.
Veja este para mais informações.