A conversão entre codecs diferentes sempre reduzirá a qualidade do vídeo, não importa o quê. Mesmo que o tamanho do arquivo seja aumentado.
Dito isto, o melhor codec de vídeo que tem um bom equilíbrio entre tamanho e qualidade de vídeo é o MPEG-4 / AVC h.264. O conversor da Oxelon Media, no entanto, não suporta isso.
Sugiro que você experimente o Handbrake , um utilitário gratuito de conversão de vídeo compatível com MPEG-4 / AVC e até tem algumas predefinições para iPhone / iPod / AppleTV que provavelmente irão atender às suas necessidades.