Eu consegui melhorar significativamente o som com alguns ajustes.
Primeiro de tudo - esses problemas só são notados em fones de ouvido de alto nível.
O que eu ouço é muito mid range. Então eu realmente conectei um osciloscópio à porta de áudio e comecei a ver o que acontece - e isso confirma que algo muito errado está acontecendo. Toda vez que uma certa freqüência é tocada, a saída não é apenas essa freqüência, mas também há uma harmônica na outra extremidade do espectro. 20hz onda tem um harmônico em torno de 20 khz e quanto mais alto você vai, quanto menor o harmônico vai, então em torno da faixa média eles se encontram e amplificam. Eu acho que é por isso que você pode ouvir tanto mids.
Então, como melhorar - obviamente, obtenha um bom plugin de EQ para pulseaudio, como o PulseEffects, e diminua cuidadosamente esses médios.
Outra grande melhoria vem da alteração do algoritmo padrão do PulseAudio. Isso está em /etc/pulse/daemon.conf: resample-method
Mude para soxr-vhq ou speex-float-5
Eu realmente não sei como eles podem gastar tanto tempo suportando esses algoritmos, mas enviá-lo com o pobre por padrão, e escondendo todas as informações sobre o tema ...
De qualquer forma, aproveite!