Não há razão técnica para não ser possível. No entanto, não há muitas razões pelas quais não é prático. Com a quantidade limitada de espaço na tela que os personagens representam na tela, seria difícil encontrar mais de 256 cores simultâneas na tela.
Até onde eu sei, os clientes terminais usam espaço de cor indexado. Uma das razões para isso é que, na sua forma mais simples, 256 cores indexadas podem ser descritas com um byte. Enquanto o espaço de cor RGB precisa de dois ou três bytes. Considerando como as cores são codificadas em um fluxo de terminal, cada cor teria pelo menos dois bytes + qualquer marcação inteligente. Isso pode não ser um grande problema, no entanto, quando em um fluxo de rede em tempo real, ele pode aumentar a latência, especialmente (corrija-me se estiver errado), cada caractere é enviado em seu próprio pacote.