Parece que o vim não envia as sequências de reinicialização corretas quando você sai. ls colore partes de sua saída, para que seja redefinida para o padrão quando terminar.
Você pode redefinir o terminal enviando a sequência de escape adequada - printf '\e[0m' é provavelmente a maneira mais fácil de fazer isso.
