Eu resolvi isso desativando xfce-volumed , o plugin Pulseaudio estava sendo executado junto com ele.
Abra uma janela do Terminal, digite killall xfce4-volumed
e tente alterar o volume agora. Apenas uma notificação será mostrada.
Para desativar xfce4-volumed , abra permanentemente Sessão e inicialização do gerenciador de configurações. Vá para a guia Autostart do aplicativo . Procure por XFCE Volume Daemon (pulseaudio) e desmarque-o para desativá-lo.
Editar:
Uma abordagem mais simples que eu encontrei é clicar com o botão direito do mouse no ícone de volume no painel e abrir as propriedades. Desmarque a caixa "Mostrar notificação quando o volume for alterado" e efetue logout / in.