Eu finalmente me preocupei em pesquisar no Google e descobri essa resposta, que funcionou perfeitamente para mim. Adicione isto a .zshrc :
__git_files () {
_wanted files expl 'local files' _files
}
Há também uma lista de discussão profunda aqui sobre isso, explicando o que zsh está fazendo levar tanto tempo.