O que você quer fazer não faz muito sentido. O Ubuntu é gerado a partir de um fork debian e tem como objetivo tornar-se uma distribuição amigável para desktop com um comportamento específico, o Ubuntu também é uma marca e o mais recente trand está empurrando este caminho muito mais do que nunca. Tecnicamente falando, na minha experiência, remover pacotes de uma instalação padrão do Ubuntu só pode gerar problemas, o Ubuntu não foi projetado para ser "modular", simplesmente não é seu objetivo.
Eu sugiro fazer uma instalação básica de um Debian e instalar o Unity a partir do código fonte.