Não use o Totem. Use o Banshee, o RhythmBox ou outro player de áudio especializado.
O Banshee pode ser desativado completamente, uma vez que o áudio está sendo reproduzido, e controlado pelo indicador de volume no canto superior direito do Unity.
Eu sei que alguns arquivos de áudio são abertos com o Totem por padrão, mas você pode abri-los com o Banshee clicando com o botão direito do mouse neles e usando o menu.