Uma maneira de resolver este problema é desabilitar o pulseaudio.
(note que pulseaudio geralmente não é necessário para obter som, já que quase todo o software Linux pode usar alsa se pulseaudio não estiver ativo. Exceção é o Skype que precisa pulseaudio.
O principal problema é que você deve instalar e usar o gnome-alsamixer para configurar o volume em vez do applet de volume padrão.
Outro problema é que você perderá a comutação automática entre o dispositivo usb e a placa de som interna que o pulseaudio permite)
Portanto, para desabilitar o pulseaudio de maneira facilmente reversível, execute sucessivamente estes 3 comandos em um terminal:
mkdir ~/.pulse
echo autospawn=no > ~/.pulse/client.conf
pulseaudio -k
depois reinicialize (o logout pode ficar bom) e teste.
Se você quiser pulseaudio novamente, basta executar em um terminal:
pulseaudio -D
Executar também echo autospawn=yes > ~/.pulse/client.conf
se você deseja que o pulseaudio seja iniciado automaticamente na próxima reinicialização ou logon.
EDIT: Correndo pulseaudio em modo daemon também é ok, veja isto