O método abaixo assume que a proporção da fonte não é maior que 720/1280
.
ffmpeg -i in.mp4 -vf scale=720:1280:force_original_aspect_ratio=decrease,pad=720:1280:(ow-iw)/2:(oh-ih)/2,setsar=1 out.mp4
O force_original_aspect_ratio
na escala 'ajusta' o vídeo nas dimensões especificadas. O pad então expande a tela para obter o tamanho desejado.