Já tentou remover os registros do sistema Apple?
Se isso não resolver o problema, mova seu zshrc para o lado com mv .zshrc zshrc.testing
e, se isso for mais rápido, comente todas as linhas e descomente lentamente as linhas, uma por vez, até ver o que está diminuindo a velocidade.