Isso não é válido bash escape syntax para aspas duplas simples. Tente em vez disso
PS1=$'\xe2\x98\xa2 '
Isso usa o especial $'...' quoting que bash tem e que suporta escapes ANSI C. Note que o 0a é apenas linefeed (caractere de nova linha) e eu duvido que você queira isso, então eu tomei a liberdade de substituí-lo por um espaço acima.
É claro que, em vez de percorrer todo o rigamarole de encontrar a codificação UTF-8 e depois digitar as fugas, você poderia usar apenas o próprio caractere bruto ( PS1='☢ ' ) e ainda funcionaria.