Tudo o que você precisa fazer é instalar o lxde:
sudo apt-get install lubuntu-desktop
A remoção dos arquivos extras também pode ser feita se você tiver pouco espaço no disco rígido, mas se tudo o que você precisa é de mais velocidade, isso será feito se for para você (veja Como você pode remover o Unity? . Certifique-se de escolher o LXDE quando fizer o login.