Você pode usar o aptitude para desinstalar o que ele instala e, se você não instala demais, pode até mesmo voltar à estaca zero. Há também o zelador que lhe dará uma idéia do que seria removido. Leia sobre o gerenciamento de pacotes do Aptitude.
Mas o que você realmente quer é o VirtualBox. É gratuito, sem restrições e permite que você crie uma base de instalação do Ubuntu ou o que você quiser e CLone / Snapshot que nova instalação. Então você vai em frente e martela essa máquina virtual enquanto aprende. Uma vez que você tenha tido o suficiente, você volta para a imagem Clonada e de volta para a primeira base de instalação novamente. É muito fácil e livre, além de se juntar ao resto do movimento. : -)