What I have noticed is the WebM file is 8MB while the MP4 and OGG are around 1-2MB. Is this normal? And why are webm files so large?
Se você escolher opções de "alta qualidade", o codificador gastará mais bits por segundo (ou por quadro) no vídeo. Isso não é nada incomum, pode ser que você tenha usado as configurações "erradas".
Na verdade, o WebM não comprime tão bem quanto o H.264 normalmente faz, mas deve ser igual a (ou um pouco melhor que) o vídeo da Theora. *
Observe que, ao recodificar um arquivo que já está codificado, você está descartando ainda mais informações compactando-o novamente. Portanto, não é uma má idéia deixar o arquivo de saída igual ou maior do que a entrada, para não comprimir demais - até o ponto em que você realmente vê que o vídeo parece significativamente pior.
Dito tudo, tente ajustar suas configurações de qualidade ou taxa de bits para que o vídeo resultante pareça bom para você.
Should I try another converter program? If so what would you recommend?
libvpx é o codificador original do WebM do Google (ou anteriormente On2, que desenvolveu o design do codec). Eu acho que o VLC usa as mesmas bibliotecas em segundo plano, então você não encontrará um codificador "melhor".
Você provavelmente terá uma versão mais nova ou igual junto com o FFmpeg , quando for compilado --enable-libvpx . Veja meu post no blog sobre o que você pode fazer com FFmpeg. Para o WebM, você pode usar o codec libvpx . Mas dependendo do que você pode definir com o VLC, isso é totalmente opcional.
* note que OGG e MP4 são containers . O codec usado no OGG é normalmente "Theora" e para o MP4 é "h.264" ou "MPEG-4 Part II". Veja: O que é um codec (por exemplo, DivX?) e como ele difere de um formato de arquivo (por exemplo, MPG)?