Você precisa instalar essa VM em outro lugar ou, se já a tiver, ótimo. Caso contrário, será difícil instalá-lo sem GUI.
E você pode instalar e usar o servidor Xvfb para sua VM (que é o X framebuffer virtual). Funciona como uma janela X, mas sem GUI. Em caso de problemas com o seu Windows, você também pode fazer algumas capturas de tela do seu Xvfb e salvá-las em um arquivo e vê-las em outro lugar.