Você precisa ir para as preferências do terminal xfce, clicar na guia Compatibilidade e verificar se a configuração da emulação é "xterm-256color" e não "xterm"
A razão básica para o problema pode ser encontrada neste artigo: link
Basicamente, você precisa que os terminais baseados em VTE ou GNOME definam a variável de ambienteterm
antes que o shell seja invocado. As configurações acima farão com que isso aconteça no terminal XFCE