Você pode apenas undo , ligado a Ctrl + _ no modo emacs por padrão (observe que insert-last-word também está ligado a Alt + _ ).
Depois de undo ing, se você invocar insert-last-word novamente, você estará de volta ao começo, você não pode simplesmente alternar pressionando Ctrl + _ e Alt + _ para ir e voltar no histórico.
Para isso, você precisa definir um widget separado que chame o widget insert-last-word com 1 como argumento (consulte info zsh insert-last-word para obter detalhes).
Por exemplo, ligado a Alt + , :
insert-last-word-forward() zle insert-last-word 1
zle -N insert-last-word-forward
bindkey '\e,' insert-last-word-forward