Se você estiver usando o vim por meio de um terminal e não estiver usando uma versão gráfica como gvim ou macvim, há uma chance de você estar no modo de 256 cores. Eu não acho que o esquema regular do deserto seja compatível com isso. Há outro esquema de cores desert256 que você pode tentar em seu lugar.
colorscheme desert256
Você também pode precisar colocar algo como:
set t_Co=256
no seu .vimrc.