Eu não tenho 5.1 no meu Mac [eu tenho um PC dedicado que eu uso para filmes], então isso é um pouco de suposição ...
Apps > Utilitários > Configuração Midi Audio. Deve ser capaz de ajustar volumes de canais individuais lá.
É assim que minha saída estéreo parece. Verifique também em 'Configurar alto-falantes ...' que está configurado para 5.1
Editar - Acabei de perceber que você disse apenas 2 alto-falantes ... não sei como isso vai funcionar, a menos que você esteja pré-mixando no Mac como 5.1 e voltando para o estéreo no seu amp.