Eu era safado ... Eu deveria ter feito uma pesquisa melhor antes de fazer a pergunta. Eu encontrei algo que me apontou a direção certa aqui . Então eu fiz um novo arquivo /etc/profile.d/custom.sh
que continha isso:
ps | grep "[0-9] vim" >/dev/null
if [ $? -eq 0 ]; then
PS1="[\u@\h \W] (vim) $ "
fi
Ele fez o truque.