O H.264 é um codec distribuição , com compactação entre quadros. Isso significa que um quadro geralmente depende dos outros. O iMovie converte todos os vídeos para o Apple Intermediate Codec, que compacta cada quadro individualmente. Isso significa que você pode remover ou reordenar os quadros que desejar. Como você vê, também é muito maior. Ele irá então renderizar o produto final de volta para o H.264 (que também é relativamente demorado).
O MPEG-2 (usado em DVDs) tem o mesmo problema. Existem editores "somente cortes" que permitem remover cada GOP (Grupo de Imagens) - o conjunto de quadros que dependem um do outro - mas cada GOP tem cerca de meio segundo de duração, portanto, as edições não são de quadro -preciso. Quando estiver pronto, ele simplesmente copiará o arquivo, ignorando os GOPs que você não deseja, o que é mais rápido do que a reprodução / compactação (mas quase instantânea).
Uma pesquisa rápida não revelou editores somente para o H.264 que não envolvem a rotina "instalar um monte de coisas e esperar que funcione" no Windows. Mas se você realmente não pode poupar o espaço em disco, você pode considerar isso.