As únicas desvantagens são que seu servidor agora está executando a sobrecarga extra de uma GUI. Nada para ficar nervoso, a menos que seu servidor esteja com pouca memória RAM;)
O XFCE é uma escolha decentemente leve (eu certamente aconselharia contra o KDE, de qualquer forma), mas qualquer ambiente de desktop não interferirá diretamente na função do servidor.
Se o seu cliente não entender, você provavelmente terá problemas com esse cliente no futuro ... Boa sorte!