Desfazer persistente é um recurso opcional. Se você não quiser, basta remover as configurações relacionadas que você colocou no seu ~/.vimrc
.
Remover set undofile
e excluir manualmente os arquivos de desfazer deve ser suficiente.
Veja :help persistent-undo
.