Depois de muita limpeza, encontrei a melhor resposta que acredito. Você precisa usar a interface de linha de comando do Mp4Box para alterar seu arquivo MP4:
mp4box -new -add original_video.mp4 -add extra_track.m4a:disable output_file.mp4
Esta opção de desativação fará com que o Quicktime ignore essa faixa e apenas reproduza a principal. O Quicktime não tem a capacidade de escolher faixas de áudio porque é um software terrível, então é o melhor que você pode fazer.
Para o WMP, você pode alternar as faixas de áudio, indo para o modo de tela inteira, e então clicando com o botão direito do mouse no vídeo. É só que ele escolhe a trilha errada por padrão e você tem que viver com isso. É um bug no WMP.