Sim, é possível. Aqui eu explico o jeito que costumo fazer, já que tenho a mesma situação.
O limite é que você must have same architecture dos sistemas.
Primeiro Limpe o Cache usando o seguinte comando no terminal.
sudo apt-get clean
Pacotes Dwonload para instalação do desktop Ubuntu usando este comando
sudo apt-get install -d ubuntu-desktop
Este comando irá baixar apenas os pacotes.
Agora vá para places . Abra Filesystem > var > Cache > apt> achieve
Você receberá todos os pacotes baixados aqui. Copie tudo para a pasta.
Copie essa pasta para a unidade Usb.
Agora insira usb no servidor que você deseja instalar o desktop ubuntu. Digite os seguintes comandos.
cd /media/<your USB drive>/<folder>
sudo dpkg -i <all .deb packages>.
Isso instalará os pacotes .deb no sistema. Você pode instalar qualquer pacote .deb dessa maneira.