Acho que esse é um recurso automático, por isso não é possível não adicioná-lo à biblioteca. O que eu fiz foi definir o programa padrão de música para o Totem. Dessa forma, se eu abrir um arquivo de música no Nautilus, ele abre e reproduz esse arquivo e nada mais. Não é o ideal, mas funciona para mim.