Parece que você quer começar com um terminal básico e partir daí. Felizmente, o Ubuntu tem duas versões que são projetadas para praticamente exatamente isso:
-
Ubuntu Server Edition
Ubuntu Server pode ser instalado em servidores não muito bem, por uma questão de fato. Você obterá suporte total a UEFI pronto para uso e a capacidade de instalar o X e o DM que quiser, sem a sobrecarga padrão. -
Edição mínima do Ubuntu
Se você quiser ir ainda mais leve, você pode usar o Minimal Edition, que é especialmente projetado para incluir apenas o núcleo absoluto do Ubuntu. No entanto, você perde a capacidade de executar coisas como inicialização UEFI e outros recursos, mas eles podem ser adicionados se você quiser / tentar o suficiente.
Ambos darão a você apenas um shell (com o Ubuntu Server dando-lhe um pouco mais de uma pilha completa se você não quiser mexer com as coisas), e permitirá que você instale o X e faça o que quiser com um mestre se é assim que você quer ir.