Desfazer persistente é um recurso opcional. Se você não quiser, basta remover as configurações relacionadas que você colocou no seu ~/.vimrc .
Remover set undofile e excluir manualmente os arquivos de desfazer deve ser suficiente.
Veja :help persistent-undo .