É possível e não haverá problemas. Essencialmente, a edição do servidor é apenas como o desktop, com pacotes diferentes e alguma otimização do kernel.
Portanto, se a área de trabalho funcionar, não há absolutamente nenhuma razão para que o servidor não o faça. Mesmo que não funcionasse, você poderia simplesmente instalar / limpar as diferenças na versão desktop