Há "sob o capô" diferença entre os sabores do Ubuntu é muito menor. Todos os sabores usam o mesmo arquivo (use os mesmos pacotes). Cada sabor é basicamente apenas um conjunto de pacotes instalados padrão. Você pode instalar todos os tipos simultaneamente, ou alternar entre eles, adicionando e removendo pacotes.
Portanto, não, não há uma boa razão para instalar o "Ubuntu Server" se você pretende usar a máquina como desktop e vice-versa.