Isso não é válido bash
escape syntax para aspas duplas simples. Tente em vez disso
PS1=$'\xe2\x98\xa2 '
Isso usa o especial $'...'
quoting que bash
tem e que suporta escapes ANSI C. Note que o 0a
é apenas linefeed (caractere de nova linha) e eu duvido que você queira isso, então eu tomei a liberdade de substituí-lo por um espaço acima.
É claro que, em vez de percorrer todo o rigamarole de encontrar a codificação UTF-8 e depois digitar as fugas, você poderia usar apenas o próprio caractere bruto ( PS1='☢ '
) e ainda funcionaria.