Parece que o vim não envia as sequências de reinicialização corretas quando você sai. ls
colore partes de sua saída, para que seja redefinida para o padrão quando terminar.
Você pode redefinir o terminal enviando a sequência de escape adequada - printf '\e[0m'
é provavelmente a maneira mais fácil de fazer isso.