Você pode tentar pedir ao pulseaudio para selecionar uma porta diferente para o coletor (o coletor é uma linguagem pulseaudio para algo em que o áudio "vai").
Eu sugiro que você instale pavucontrol , ele permitirá que você selecione uma porta específica, em vez de confiar apenas no que o kernel seleciona automaticamente para você.
Isso poderia potencialmente ser automatizado adicionando um script curto com pactl à sua lista de programas de inicialização, o script faria algo como:
pactl set-sink-port 0 analog-output-speaker