Você provavelmente está perdendo \[ e \] no seu PS1 . Ele precisa percorrer todas as seqüências de escape não impressas, por exemplo, as seqüências de escape usadas para colorir as coisas azul e amarelo.
Veja a página man bash para detalhes. Está na seção intitulada "Solicitação".
Ele também está documentado nos documentos informativos em Como controlar o prompt .
