Se você está instalando um servidor Ubuntu, ele não possui, por padrão, nenhum componente de desktop Ubuntu / XUbuntu. então não há diferença como tal. Eu gostaria que você fornecesse mais informações sobre o que exatamente você está tentando fazer. Isso tornará mais fácil para as pessoas aqui fornecerem suas sugestões.