O melhor aplicativo de código aberto que encontrei para pegar um AVI ou MP4 existente e compactá-lo é o AVIDemux. Abra o arquivo, selecione a saída de vídeo e mude para uma taxa de bits menor. Você provavelmente precisará ler as man pages ou um tutorial para aprender o caminho, mas vale a pena.