Quando você usa o repositório avconv em Trusty Tahr para converter com a linha de comando simples:
avconv -i input.m4a output.ogg
você realmente codifica para o flac: um formato sem perdas com um tamanho de arquivo bastante grande. Daí sua saída inflada! (Este certamente não é o caso de um FFmpeg moderno que tenha um padrão mais sensato de libvorbis.)
Para codificar um arquivo ogg vorbis de tamanho razoável e alta qualidade, tente o seguinte:
avconv -i ManjusriMantra.m4a -c:a libvorbis -q:a 7 ManjusriMantra.ogg
e você ficará satisfeito com a qualidade do som e o tamanho do arquivo.
O dir2ogg pode ser massageado o suficiente para funcionar, mas é um aplicativo muito antigo e cansado que pode ser melhor deixado adormecido:).