@Rinzwind está correto, você pode simplesmente baixar um servidor ou ISO de instalação mínima / net do Debian ou Ubuntu e instalá-lo rapidamente como uma VM. Eu fiz isso ontem usando um ISO de instalação de rede Debian, ele é rápido para baixar e instalar, e você fica com nada além de um prompt bonito e piscando. Aqui está um link direto. link Apenas desmarque o Ambiente de Área de Trabalho do Debian e selecione se você precisa de servidores quando o menu perguntar.
Você também pode verificar aqui o link para uma máquina pré-fabricada, mas eu senti que era mais trabalhoso do que construir a minha própria. veja uma CLI baixar apenas para o Debian, mas talvez eles tenham outra distro. Pelo tempo que você pesquisa você provavelmente poderia ter construído um.
Você também pode clonar uma de suas VMs em execução e remover o X e o DE.
Existem três opções para você. Boa sorte.