Pare de usar o pulseaudio porque ele quebra sozinho o tempo todo.
A placa de som funciona bem quando eu adicionei o grupo de áudio e reiniciei. Eu removi pulseaudio completamente também.
Não é a melhor solução, mas acho que é mais fácil usar o Alsa, o que funciona.