Parece que o prezto está carregando o módulo em /usr/lib/prezto/modules/completion . Com tudo ativado, excluí o conteúdo de /usr/lib/prezto/modules/completion/init.zsh , o que me deu o segundo maior tempo de carregamento novamente. Comecei então a apagar sistematicamente as linhas desse arquivo e poderia isolar uma única linha causando lentidão.
unsetopt CASE_GLOB
N.B. no meu caso específico, a lentidão foi causada por uma duplicata compinit no meu ~/.zshrc . Presumivelmente, o prezto também estava executando compinit com o case off, resultando em um aumento de duas vezes no tempo de carregamento.