WOW!
H264 é um codec de vídeo de alta qualidade, mas (como você se refere), ele cria arquivos de vídeo de tamanho "pesado".
Não tenho certeza se sua pergunta está relacionada a uma tarefa de GUI ou Linha de Comando. Mas, assumindo que você está usando "Transmaggedon" eu escreverei isso considerando as opções para aplicações GUI.
No meu caso, eu prefiro o uso de "Mobile Media Converter", que funciona muito bem em sistemas de 32 bits (sistemas baseados em Ubuntu e MS). E os criadores já lançaram uma versão de 64 bits hoje em dia.
O que você deseja é criar arquivos de vídeo de tamanho menor. O que pode ser feito alterando a "taxa de bits de vídeo", que lhe dará a melhor qualidade, de acordo com a taxa de bits de vídeo solicitada. No exemplo: um arquivo de vídeo de 40MB (descompactado, AVI) caberá em um arquivo de vídeo de 5MB (qualquer codec) se você usar uma taxa de bits de vídeo de 800kbps. Mas, claro, isso pode prejudicar a qualidade.
Eu sugiro strongmente que você realize alguns testes usando o Mobile Media Converter, que pode ser acessado (.deb) clicando no link a seguir:
Após a instalação, basta soltar qualquer arquivo de vídeo (de preferência pequeno para o teste) na área de arrastar e soltar e, em seguida, abra as opções avançadas clicando em uma pequena seta posicionada à direita da janela, abaixo de "browse" "botão. "[...]"
Em seguida, clique em "Avançado" e você terá todas as opções necessárias para transcodificar seu vídeo e fazer uma transcodificação de qualidade pequena e de boa qualidade.
Lembre-se: quanto maior for a taxa de bits do vídeo, você terá melhor qualidade, mas o tamanho do arquivo se tornará "mais pesado".
BTW: você também pode transcodificar vídeos usando um sistema de edição não linear, como "Kdenlive" ( link ) ou "Openshot" ( link ) e muito mais. Um sistema de edição não linear também será útil para editar o vídeo (aparar, recortar, adicionar texto e mais).
Boa sorte!
Aqui está uma captura de tela para você ver algumas opções do Mobile Media Converter em ação.