Primeiro, o Webm tem de ser suportado na caixa dos pacotes corretos do gstreamer antes de poder ser suportado no Ubuntu. A principal razão pela qual não está incluído ainda é porque é um formato bastante "recente" e o código para suporte ainda é um pouco novo.
Você teria que esperar pelo gstreamer para suportá-lo como parte de seu conjunto padrão, já que no momento ainda é um pouco "experimental" no gstreamer.