Como o seu servidor não tem GUI, você está trabalhando com um simples terminal CLI e não há nenhum servidor X em execução. Eu acho que existem vários comandos X em seu HD, caso você queira executar o X. OTOH, é estranho que $ TERM seja xterm ...
De qualquer forma, eu nunca toquei com essas coisas, mas você deve ser capaz de personalizar a paleta do seu terminal. Dê uma olhada em setcolors - Mude sua paleta de cores do Linux VT - ele até fornece um arquivo colorscheme para o Solarized.
Veja também a página man do console_codes. Os códigos ESC ] Pnrrggbb
parecem promissores.