Eu sei que isso é possível; omxplayer funciona sem X no framebuffer usando aceleração de GPU, embora seja destinado a um dispositivo específico (o Raspberry Pi ) .
No entanto, acredito que ele acessa a GPU através do OpenMAX (portanto omx omxplayer é específico de pi. Infelizmente, a busca casual não revela mais nada que faça isso (openmax + framebuffer). Você pode tentar usar o pessoas omxplayer e ver se alguém o portou para x86 (_64).