É absolutamente comum - muitos roteadores e caixas NAS se qualificam como computadores, mesmo sob definições restritas, e não possuem GPUs. (Mas execute praticamente qualquer aplicativo do Linux que você goste de mensionar).
Um bom número de dispositivos de computação tem alguma variante de cabo serial que pode (opcionalmente) ser usado para depurar um processo de inicialização.
Muitos sistemas sem cabeça podem ser inicializados em rede e carregados com uma instalação completa do SO, incluindo PCs comuns sem GPU integrada ou separada.