Eu tive o mesmo problema (por pelo menos um ano agora) e o seguinte pareceu funcionar:
Extraído de: link
Use pavucontrol
para alterar a porta para a desejada. Em seguida, encontre o nome interno da porta com este comando:
$ pacmd list | grep "active port"
active port: <hdmi-output-0>
active port: <analog-output-lineout>
active port: <analog-input-linein>
Usando essas informações sobre o nome interno da porta, podemos alterá-lo com o comando:
pacmd set-sink-port 0 analog-output-lineout
Se você (ou alguém com o problema) tiver vários cartões, tente alterar 0 para 1.
Se isso funcionar, você pode colocar:
set-sink-port 0 analog-output-lineout
no seu arquivo /etc/pulse/default.pa
para que ele seja reinicializado.