Parece que você quer pseudocolor, que não é mais bem suportado. Um tópico no Xorg há alguns anos apontou um problema com o recurso, mas concluiu por sugerir que ele poderia funcionar com um driver vesa. Como alternativa, uma discussão em um fórum do Raspberry Pi sugeria usar Xephyr
(um servidor X aninhado) no qual se poderia executar um cliente.
Leitura adicional:
- Problemas na execução do Xorg no modo de cor de 8 bits: q
- 8 Bit / 256 cores (discussão relacionada, plataforma diferente)
- HowTo: Usando o Xephyr para criar uma nova exibição em uma janela