A única diferença entre diferentes "edições" do Ubuntu é quais pacotes são instalados por padrão. Uma vez que o sistema é instalado, você pode adicionar ou remover programas como desejar - potencialmente até mesmo fazer uma instalação "Desktop" parecer exatamente como uma instalação "Servidor" após o fato.
Se você deseja uma instalação minimalista, faça uma instalação minimalista ... e instale somente os pacotes desejados.
A instalação que você escolheu não deve fazer nenhuma diferença prática , já que você pode remover os pacotes que não deseja também.