Então a resposta está em um parâmetro simples -vn que desabilita a gravação de vídeo para a saída que é realmente desnecessária ao fazer a conversão do mp4 (provavelmente todo arquivo de vídeo) para mp3.
"- vn (saída)" Desativar gravação de vídeo.
No meu caso, estou usando o Download Helper for Firefox. Eu fiz a conversão de mp3 personalizado onde adicionei este parâmetro lá e agora tudo é ainda mais rápido que o ffmpeg.