Neste caso, o cartão é sempre o mesmo. O que está mudando entre um switch e outro é o "card-profile".
Então a solução que realmente funcionou é:
pacmd set-card-profile <cardindex> <profilename>
No meu caso, encontrei todos os perfis de cartões com:
pacmd list-cards
Depois de poder alternar entre alto-falantes do monitor e do laptop com:
pacmd set-card-profile 0 output:hdmi-stereo
E:
pacmd set-card-profile 0 output:analog-stereo+input:analog-stereo
Onde 0 é o índice do cartão:
pacmd list-cards
Welcome to PulseAudio! Use "help" for usage information.
>>> 1 card(s) available.
index: 0
name: <alsa_card.pci-0000_00_1b.0>
E, finalmente, para tornar o switch mais rápido, eu configurei dois alias no meu arquivo .bashrc:
alias audio-hdmi='pacmd set-card-profile 0 output:hdmi-stereo+input:analog-stereo'
alias audio-laptop='pacmd set-card-profile 0 output:analog-stereo+input:analog-stereo'
Dessa forma, posso alternar entre o áudio do monitor ou do laptop (fones de ouvido) digitando no shell: audio-hdmi ou audio-laptop