De um modo geral, o software mais estranho que você executa resulta em dois problemas:
- Redução da disponibilidade de memória para o software com o qual você realmente se importa
- Maior probabilidade de o seu servidor ficar vulnerável devido a uma vulnerabilidade de segurança não corrigida.
Se a sua aplicação não requer muita memória, ou sob pressão de memória particular para o seu hardware, você não precisa se preocupar com (1). Se você puder isolar completamente o ambiente em que seu servidor é executado (dica: você provavelmente não pode), então você não precisa se preocupar com (2).
Não são os GUIs de aplicações populares como o FreePBX e o Elastix baseados na web, afinal? Não tenho certeza porque você acha que o sistema operacional no seu servidor requer um gerenciador de janelas para uma interface de usuário baseada na web. Você diz que é não um servidor web - o que isso significa? Você não tem permissão para / não deseja instalar um servidor web?