Você pode parar o Pulseaudio usando HDMI no pavucontrol. Chegue à guia Configuração e altere a configuração do perfil para 'Desligado'
Você também pode fazer isso com o comando terminal - pactl set-card-profile 0 off
Eu recomendaria a instalação do pavucontrol, é a melhor ferramenta para verificar e ajustar as configurações do Pulseaudio. Embora a maioria das versões do Linux tenha um controle de painel, nenhuma que eu saiba mostra todas as configurações e algumas não salvam as configurações corretamente