Os formatos listados aqui são simplesmente contêineres, eles não têm nada a ver com o tamanho do vídeo codificado.
Um contêiner precisa conter vídeo que tenha sido codificado com algum tipo de codec (e também pode ser alterado com áudio, e talvez algumas legendas por boa medida, dependendo do contêiner).
No seu caso, no entanto, eu sugiro olhar para usar H264 como seu codec dentro do contêiner mp4. O H264 (e até certo ponto o MPEG 4 Visual também) tem uma reputação muito boa de manter a qualidade do vídeo mesmo com baixas taxas de bits.
O codificador mais famoso do H264 é x264 , incluído em muitos aplicativos de codificação de vídeo, como Handbrake , SUPER ou mesmo FFmpeg . Quando você define a qualidade, não escolha "taxa de bits média" (já que o x264 tem um desempenho ruim), mas mude a configuração "fator de taxa constante" para obter o tamanho de arquivo desejado.