Você tem muitos problemas diferentes aqui que eu quero abordar.
O Ubuntu Server é (tanto quanto é importante para o seu uso) apenas o Ubuntu sem os pacotes de desktop gráficos instalados. Ou seja, se você quer uma instalação limpa do Ubuntu Server com um desktop gráfico, você pode simplesmente instalar o Ubuntu no desktop (por exemplo, Ubuntu Mate, Kubuntu, etc) e então instalar coisas como LAMP (ou qualquer servidor tarefas que você precisa) com tasksel ou Apt.
A área de trabalho do Ubuntu da era de 2010 desapareceu há muito tempo. Moveu-se para o Unity. Se você atualizar o ubuntu-desktop metapackage, você será direcionado para o Unity. Você pode desinstalar esses pacotes antes de atualizar (e executar um apt-get autoremove ) e, em seguida, instalar qualquer -desktop metapackage (provavelmente mate-desktop ) quando terminar de atualizar o sistema principal.
10.10 está morto há anos. Como tem 11,04 e 11,10. Você precisará atualizar através de todos aqueles para chegar ao 12.04 e de lá você deve ser capaz de LTS-hop para 14.04. Essa é outra razão para se livrar de qualquer pacote não essencial (menos para atualizar).
Honestamente, eu estaria avaliando se não é melhor fazer back-ups e fazer uma nova instalação do Ubuntu Mate (ou qualquer spin de desktop que você goste - há muitos agora). Vai ser muito mais rápido para você e provavelmente vai deixar você com um resultado melhor.