Você precisa colocar as seqüências de escape em \[ \]
:
PS1='\[\e[0;34m\]\A\[\e[m\] | \[\e[0;31m\]-\[\e[m\] \[\e[0;32m\]>>\[\e[m\] '
Isso é essencialmente o mesmo que a resposta de @ user107425, mas usando a sintaxe \e
em vez de 3
e com o fechamento \[\e[m\]
que redefine a cor para o padrão após o término do prompt.