Ambos são metapacotes, mas o xubuntu-desktop é um metapacote para muito mais coisas do que o outro que é apenas para o ambiente desktop, xorg e algumas pequenas coisas. Você pode ler sobre a diferença entre um pacote e um meta-pacote aqui . Em suma, o metapacote não contém nada além de referências e o que importa é o que o metapacote se refere (o metapacote afirma depender deles e pede que a lista seja instalada).
Então, acho que sua primeira opção não instalaria nada. Se você realmente quer a solução mínima, então vá com o xfce para o qual o comando correto seria:
sudo apt-get install xfce4
Basta adicionar mais alguma coisa, uma a uma, de acordo com suas necessidades. Além disso, se você tiver o xfce4 instalado, você sempre poderá expandir sua instalação com o xubuntu-desktop, o que apenas adicionaria muitas coisas.
Você também pode considerar o uso de Webmin ou Zentyal para gerenciamento de servidor baseado na web.