Se você não se esquiva de fazer uma nova instalação, você pode instalar o Ubuntu Server e escolher apenas a instalação mínima. Depois disso, instale apenas pacotes (por exemplo, um ambiente de desktop) usando:
sudo apt-get install --no-install-recommends package-name
O --no-installation-recommends
flag instala pacotes apenas com as principais dependências necessárias, mas sem o recomendado.
EDITAR:
Se você não quiser escrever --no-installation-recommends
toda vez que instalar um pacote, você pode configurar o comportamento padrão do apt-get para fazer isso automaticamente adicionando a seguinte linha ao seu arquivo /etc/apt/apt.conf :
APT::Install-Recommends "false";
Para desfazer isso, basta excluir a linha editada ou comentá-la adicionando dois //
no início da linha.
//APT::Install-Recommends "false";
Veja man apt.conf
para mais detalhes.