Como você compilou a partir do arquivo, você deve simplesmente navegar até o diretório de origem e executar o comando make uninstall, já que você compilou da fonte usando make
. Algo como:
make VIMRUNTIMEDIR=/usr/share/vim/vim73
make uninstall
deve funcionar.
Mais detalhes sobre como desinstalar usando o make here:
EDITAR: Do link acima,
Você pode remover manualmente o vim executando make -n install
para descobrir as etapas usadas para instalar o vim e removê-lo manualmente.