Tudo depende do conteúdo de origem. Para codificar para um determinado tamanho, você precisa determinar a taxa de bits que deseja usar para o áudio e o vídeo.
Para 600MB, você precisaria ter uma taxa de bits inferior a 910kbps (600MB / 5400 segundos). Se você usa 128kbps para o áudio, isso deixa 780kbps para o vídeo. Isso está realmente no limite em direção a vídeo de baixa qualidade, mesmo com o H.264.
Os melhores codecs a serem usados seriam o H.264 para vídeo e o estéreo AAC para áudio.
Handbrake é um bom conversor multiuso. Se a fonte for DVD ou BluRay, você também pode tentar RipBot264 , que usa o excelente codificador de vídeo x264. Existem várias outras ferramentas que você pode usar para converter vídeo, mas isso exigiria uma resposta muito mais longa e complexa.
Além disso, você pode querer ler sobre doom9.org, que é um ótimo recurso para codificação de vídeo.