Minha resposta rápida: use o Banshee, não o Rhythmbox.
Resposta mais longa: Depois de finalmente ter tempo para descobrir isso, descobri que é o rhythmbox que é o problema. Desinstalei o aplicativo e instalei o banshee. Meu volume parece normal agora. Eu acho que isso tem a ver com a configuração do Rhythmbox, mas eu não sei o que exatamente resolveu o problema.
Espero que isso ajude alguém.