Eu não tenho diagnóstico para o problema, mas reinstalando (possivelmente atualizando para uma versão mais recente, não me lembro qual versão eu estava executando anteriormente) MacVim resolveu quase todo o atraso. Não é tão rápido quanto o Vim no terminal, mas isso é de se esperar. Não é mais insuportavelmente lento.