Eu não acho que você pode fazer isso com o player de vídeo padrão no Ubuntu (totem), mas com VLC media player você pode facilmente desabilitar o fluxo de vídeo de um arquivo de mídia e só deixar o áudio tocar (ou vice-versa):
Com este método, as configurações não serão preservadas em diferentes arquivos / loops do mesmo arquivo. Uma solução mais permanente é desativar a reprodução de vídeo no menu de preferências: