Você provavelmente está perdendo \[
e \]
no seu PS1
. Ele precisa percorrer todas as seqüências de escape não impressas, por exemplo, as seqüências de escape usadas para colorir as coisas azul e amarelo.
Veja a página man bash para detalhes. Está na seção intitulada "Solicitação".
Ele também está documentado nos documentos informativos em Como controlar o prompt .