Isso é potencialmente possível, mas nem sempre é feito com frequência e, provavelmente, você está indo para um território obscuro. Usar o X de alguma maneira é provavelmente uma ideia melhor. A melhor sugestão alternativa que tenho talvez é olhar para fbdev, encontrei alguns detalhes aqui, embora provavelmente existam fontes melhores: link