Comando básico é
ffmpeg -i input.mp4 -c:v libtheora -q:v 7 -c:a libvorbis -q:a 4 output.ogv
Você terá que mexer com os valores q para v ideo e a udio se o resultado não for aceitável. Valores menores são melhores, mas produzem arquivos maiores.