Dê uma olhada neste tópico, intitulado: [convidados do Linux] Teste do vmwgfx , no site da comunidade VMWare. Há algumas coisas para tentar nesse tópico, mas parece que o VMWare está fornecendo um novo driver, o vmwgfx, no Workstation 9, no qual a sua distribuição está ficando desequilibrada.
Dado seu erro, eu diria que o Backtrack 5 não inclui esse driver específico.
Normalmente, com produtos de virtualização como VMWare e Virtualbox, há "extensões" que você precisa instalar por meio das GUIs de produtos de virtualização ou montar manualmente algum CD / ISO dentro dos convidados para obter esses tipos de drivers / módulos instalados.