A maneira oficial de atualizar o Ubuntu a partir da linha de comando se destina a funcionar do jeito que você quer: ele deve atualizar apenas os pacotes que você já tem no sistema.
Se instalar novos pacotes, é porque alguns pacotes atualizados têm novas dependências. Isso se aplica especialmente ao pacote ubuntu-desktop
, que dependerá de todos os novos aplicativos padrão. Eu duvido que você tenha ubuntu-desktop
instalado, como você instalou a edição do servidor.