Se você não precisar, desinstale-o. Como você previu, isso reduzirá o tempo de atualização e reduzirá a superfície de ataque.
Eu notei que existem questões semelhantes sobre como remover a GUI de uma instalação do Ubuntu, então eu conheço a técnica, estou apenas imaginando se vale a pena fazer isso?
Para explicar, eu tenho um servidor Ubuntu hospedando o OpenVPN, que está funcionando perfeitamente. Eu não preciso da GUI e sei que um servidor que não tem a GUI tem uma superfície de ataque menor e uma reduzida necessidade de atualização, já que há menos componentes em execução, então é uma decisão sábia para desinstalar a GUI? / p>
Se você não precisar, desinstale-o. Como você previu, isso reduzirá o tempo de atualização e reduzirá a superfície de ataque.