Instalando o Ubuntu Desktop sem um ambiente de desktop?

Question

Antecedentes

Eu montei meu próprio ambiente de desktop no Arch Linux, e estou interessado em configurar o Ubuntu com o mesmo ambiente. Uma maneira de fazer isso é instalar o Ubuntu Server e adicionar meu DE. No entanto, eu sei que existem pacotes (além de pacotes DE) na área de trabalho que não estão no servidor (por exemplo, o Software Center), então eu gostaria de instalá-los também.

Eu não passei tanto tempo com o Ubuntu nos últimos anos, então não estou totalmente familiarizado com isso. Meu objetivo é criar uma experiência completa do Ubuntu Desktop, exceto com um ambiente de desktop totalmente novo. Eu percebo que eu posso apenas instalar a totalidade do Ubuntu Desktop e adicionar outro DE próximo a ele, mas eu gostaria de evitar isso se eu puder. Minha configuração inclui configurações personalizadas do Xorg e do gerenciador de exibição, e gostaria apenas que ele ficasse sozinho no sistema.

Perguntas

1. Quais são todos os pacotes universais para todas as versões do Ubuntu Desktop (por exemplo, Ubuntu, Xubuntu, etc.) que não estão no Ubuntu Server nem são exclusivos de um DE? Acabei de remover todos os pacotes do GNOME do metapacote ubuntu-desktop para obter a lista que estou procurando, ou há mais a ela?
2. Existe uma maneira melhor de alcançar meu objetivo? Por exemplo, seria melhor se um PC desktop começasse instalando manualmente os meta-pacotes ubuntu-minimal e ubuntu-standard ao invés do Ubuntu Server (então, adicione os pacotes da pergunta 1)?
3. Há mais alguma coisa que você recomendaria que eu fizesse para configurar todos os sinos e assobios de uma instalação típica do Ubuntu (menos qualquer DE diferente da minha)?

Atualizar

• Suas respostas ajudaram, e eu decidi pelo mini.iso ao invés do iso do servidor. Eu ainda estou tentando decidir quais pacotes incluir o máximo possível de um Desktop Ubuntu completo sem incluir o GNOME, LXDE, Xfce ou KDE.
  
  Eu poderia cruzar cada meta-pacote buntu-desktop para obter uma lista de pacotes comuns e convertê-los em um longo comando apt-get, mas há muitas inconsistências. Alguns são claramente Ubuntu e não um DE, mas são únicos para cada DE porque o Ubuntu decidiu usar outros (por exemplo, lubuntu-software-center vs. software-center).
  
  
  4. Para onde devo ir daqui; preciso analisar individualmente cada pacote sem interseção ou existe uma maneira mais fácil?