input=$1
output=${input/mkv/avi}
mencoder -vf harddup,crop=0:0:0:0,scale=576:-2,hqdn3d -sws 2 -sid 1001 -o $output -ovc xvid -xvidencopts bitrate=598:pass=1:max_bframes=2:bquant_ratio=162:bquant_offset=100:vhq=4:me_quality=6:chroma_me:chroma_opt:hq_ac:trellis:lumi_mask:autoaspect:bvhq=1:threads=2 -af volnorm=1 -oac copy $input
mencoder -vf harddup,crop=0:0:0:0,scale=576:-2,hqdn3d -sws 2 -sid 1001 -o $output -ovc xvid -xvidencopts bitrate=598:pass=2:max_bframes=2:bquant_ratio=162:bquant_offset=100:vhq=4:me_quality=6:chroma_me:chroma_opt:hq_ac:trellis:lumi_mask:autoaspect:bvhq=1:threads=2 -af volnorm=1 -oac copy $input
Eu escrevi o script acima para converter alguns vídeos (20 minutos de x264 em mkv container para 2-pass xvid em avi) usando o mencoder. Você poderia dar uma chance em um arquivo. Sinceramente, não me lembro de onde consegui as opções de codificação (documentação oficial do mencoder, talvez?), Mas elas funcionaram bem em meus vídeos, e é por isso que ainda tenho o roteiro.
Eu recomendo usar uma calculadora de taxa de bits e modificar o valor da taxa de bits acima, caso contrário a conversão pode ser longa e, mais importante, o resultado não será nem perto do que você espera.
A propósito, você disse que estava tentando h.264 agora - você sabe que é bem diferente do xvid? Considerando dois vídeos do mesmo tamanho, o h.264 terá uma qualidade superior à do xvid one, embora o último precise de um computador menos potente para ser decodificado sem gaguejar, quedas de quadros, etc.
EDIT: Link para documentação do mencoder sobre codificação xvid: clickme!