Você pode fazer isso com pavucontrol . É um aplicativo GTK, mas não se preocupe, ele funciona bem no KDE. Em combinação com paman , pode ser um controlador muito versátil para o Pulseaudio.
Eu o uso para escolher onde gravar / tocar, etc.
Infelizmente, neste momento, tenho apenas um único cartão para testar (e não há dispositivos HDMI), portanto, uma configuração semelhante à sua, não posso testar.Você também pode tentar veromix , que pode ser usado para mover fluxos entre dispositivos, adicionar efeitos e muito mais.