IIRC, isso realmente não importa. A única diferença entre eles provavelmente será quais pacotes estão pré-instalados. Por exemplo. a área de trabalho terá unidade instalada por padrão. Você pode usar o cd de instalação da área de trabalho e, em seguida, remover todos os pacotes da área de trabalho e você terá uma máquina do servidor perfeitamente boa.
Então, novamente, ter a área de trabalho instalada ou em execução na verdade não interfere na capacidade da máquina de ser um servidor, exceto na medida em que consome recursos.
O servidor Ubuntu (que eu não usei para sempre) provavelmente já tem todas as coisas que você provavelmente gostaria de remover já retiradas, mas, novamente, talvez não. Como eu disse, isso realmente não importa. Você sempre pode usar o apt para adicionar o que quiser e remover o que não deseja.