O AviDemux tem uma versão para Mac e lida com vários tipos de arquivos.
OMPEG Streamclip tem uma versão para Mac e lida com alguns tipos de arquivos, mas supostamente é um pouco básico.
ZS4 tem uma versão para Mac, mas é um tipo diferente de editor. Pode valer a pena, considerando que é grátis.
HyperEngine AV é uma ferramenta gratuita de edição para Mac.
Naturalmente, você sempre pode instalar o Windows em uma parte do seu disco rígido usando o Bootcamp e depois usar o TMPGEnc novamente ... ou qualquer outra ferramenta de edição do Windows.