Quando eu segui este guia algumas semanas atrás - eu me livrei dos pacotes mongo-db existentes que vinham com o tahr confiável (14.04.3) usando
sudo apt-get purge mongodb-org*
depois, instalou-o.
Acredito que a chave é necessária durante a primeira instalação e, em seguida, para atualizações que não são para desinstalação (suponho).
Então, essencialmente
sudo service mongod stop
sudo apt-get purge mongodb-org*
sudo rm -r /var/log/mongodb
sudo rm -r /var/lib/mongodb
Você deve conseguir desinstalá-lo. Se isso não funcionar, a única opção para desinstalação limpa é instalá-lo novamente e, em seguida, desinstalá-lo.