Conforme proposto pela steeldriver, ^
no lugar de !
faz [! set] resolver o problema.
O motivo disso é que em zsh !
aciona a expansão do histórico. Se você não quiser que isso aconteça, desative a expansão do histórico. Para isso, execute setopt nobanghist
na linha de comando.