Se você é um novato, como você está dizendo, Handbrake pode ser mais sua coisa. Está disponível para Mac OS X, Linux e Windows. A última vez que verifiquei foi nos repositórios do Ubuntu, mas aqui está um PPA para ter certeza.
Eu tive bons resultados no meu N900 com as seguintes configurações:
Contêiner: arquivo MP4 (arquivos MKV não são suportados pelo N900 por padrão).
Suporte para iPod 5G: on (Apenas no caso de você decidir compartilhar um vídeo com um amigo amante da Apple.)
Imagem:
Largura: 400px (Embora a resolução horizontal do N900 seja 800px, o vídeo tende a pular para mim nessa resolução).
Manter a proporção: em
Vídeo:
Codec de vídeo: H.264 (Resulta em arquivos menores que o ffmpeg; ambos funcionam embora.)
Média bitrate: 500 / 600kbps
Codificação de 2 passagens: em
Áudio:
Codec de áudio: AAC (faac) (Mais compatível, melhor qualidade de som.)
Mixdown: Estéreo (Você só tem dois alto-falantes ou um fone de ouvido, por que desperdiçar largura de banda em mais canais?)
Bitrate: 64/80/96 / 128kbps (Se você tiver bons fones de ouvido, vá com 96 / 128kbps.)
Todas as outras opções podem permanecer inalteradas (ou fique à vontade para experimentar).