Você provavelmente está usando ligações de teclas do tipo vi no zsh sem saber.
Zsh escolhe o modo de teclado padrão olhando $ VISUAL e $ EDITOR. Se eles parecerem vi-ish (como "vim"), ele irá escolher ligações do tipo vi em vez de ligações do tipo emacs.
C-p é uma ligação que está apenas na tabela-chave do tipo emacs por padrão. Você está obviamente livre para vincular as chaves ao que você gosta nas tabelas de chaves do tipo vi também, como "int" sugerido. Mas as chances são de que você realmente quer o modo emacs, o que você pode conseguir fazendo o seguinte em algum lugar na sua configuração:
bindkey -e
... de preferência antes de fazer outra configuração relacionada ao teclado.
Como sempre, detalhes completos sobre o editor de linhas do zsh (zle) podem ser encontrados em a seção correspondente do manual de referência do zsh . Ele descreve como o modo padrão é escolhido, bem como quais ações estão vinculadas a quais chaves, por padrão, nos diferentes mapas de chaves.