Então, parece que não há como fazer isso sem um X-server. No entanto, parece que você é capaz de instalar o X-Server sem executar qualquer tipo de ambiente de desktop, então o impacto no desempenho é absolutamente mínimo e definitivamente vale a troca de aceleração de hardware vs hardware.