Conforme proposto pela steeldriver, ^ no lugar de ! faz [! set] resolver o problema.
O motivo disso é que em zsh ! aciona a expansão do histórico. Se você não quiser que isso aconteça, desative a expansão do histórico. Para isso, execute setopt nobanghist na linha de comando.