Desculpe se estou atrasado. Sou novo no ffmpeg, mas uso "-ac 6" para designar canais de áudio 5.1 em filmes. Exemplo:
ffmpeg -i [input.mkv] -c: aac-b: a 640k -ac 6 [output.mkv]
Além disso, não vi "-channel_layout 5.1" nos documentos. Deixe-me saber se eu poderia tentar ser mais útil.