Ele é substituído pelo número do histórico, mesmo se eu tentar escapar com uma barra invertida.
Não há necessidade de escapar se você quiser apenas um ponto de exclamação no prompt.
PS1='foobar!'
Veja o que acontece.
Tags bash prompt quoting