Eu não recomendo fazer isso. Enquanto o VLC é um dos melhores jogadores, o plugin é muito ruim. A recomendação sobre a outra resposta para alterar as configurações do aplicativo não funcionará. Quando você tem vários plugins instalados, o Firefox decide qual deles usar o tipo MIME do conteúdo. A única maneira que eu sei como forçar o Firefox a usar outro plugin é mudar o tipo de objeto de vídeo na página, mas isso é muito complicado e não é viável.
Eu recomendaria remover o plug-in do VLC e do Totem e instalar o gecko-mediaplayer.