O vim é executado em seu shell, que é executado em seu terminal: ele herda muitas camadas de latência, principalmente relacionadas ao redesenho da janela e à manipulação de entrada.
O MacVim não é executado em um terminal e seu mecanismo de renderização é muito mais rápido. Não é tão bom assim, quando você está acostumado com o GVim no Linux.