Isso é bem o que Ƭᴇcʜιᴇ007 disse: todos os computadores foram exibidos sem GPUs até o final dos anos 90. Você não precisa de GPU (ou até de adaptador de exibição) para operar um computador, os computadores podem ser executados sem monitores ou com visores totalmente renderizados por software.
No entanto, conectar um monitor físico exigirá um conector físico para isso, para o qual você precisará de um adaptador de vídeo. Novamente, conforme o comentário de Ƭᴇcʜιᴇ007, muitos dos consumidores consideram "placas gráficas" contendo GPUs, mas isso não é obrigatório - muitos adaptadores de vídeo, especialmente aqueles projetados para servidores, não têm GPUs.
Baseado em você dizer que você quer uma GUI para fazer uma instalação , então você precisará de um adaptador de vídeo para poder conectar um monitor - a menos que você compre uma placa de servidor em saída de exibição sem rede ou GPU. Você precisaria de uma placa gráfica básica, embora fosse mais fácil comprar apenas uma CPU com uma GPU integrada (por exemplo, E3-1225V5 ou i5-6600K)