Estou familiarizado com a configuração do Ubuntu, então gostaria de continuar com isso, mas sinta-se à vontade para sugerir outra distro se ela funcionar quase exatamente como o Ubuntu.
Pergunta: Como eu instalo um sistema Ubuntu com tudo que o Ubuntu Desktop tem, mas sem o X, apenas um console? AFAIK, Ubuntu Server tem um monte de sobrecarga extra relacionada ao servidor que são desnecessários em um sistema desktop.
Acho que o Ubuntu Server ainda é o melhor caminho para você se você quiser algo que "funcione quase exatamente como o Ubuntu".
Você pode optar por não instalar muitos recursos relacionados ao servidor durante a instalação e esperar que qualquer "sobrecarga de servidor" restante seja atenuada por não ter uma GUI instalada.
Se bem me lembro, se você iniciar uma instalação não-gráfica do Ubuntu, você pode escolher seus pacotes: apenas desmarque X.Org, xserver, gdm, gnome e similares.
Se você usar o instalador baseado em texto no CD de instalação alternativo do Ubuntu, você pode especificar a partir do zero exatamente o que você quer, incluindo um gerenciador de janelas (ou a ausência dele).
Veja esta página para detalhes.
O único problema com isto pode ser que provavelmente ele não virá com "tudo" que a distribuição normal do Ubuntu teria (como você mencionou). Mas muitos desses programas são baseados em X de qualquer maneira.
Você pode usar os meta-pacotes padrão ubuntu (pequeno) e ubuntu-mínimo (menor ainda) para reduzir a instalação.
sudo aptitude markauto '~i!~M!~nubuntu-standard'
debfoster também pode ajudá-lo a remover pacotes, classificados interativamente pelo peso combinado de suas dependências.
Use o ISO mínimo . Ele baixará da rede somente o que você quiser. Portanto, apenas não selecione uma tarefa de desktop ou uma tarefa de servidor, e você é bom.