O VMWare coloca seu próprio driver de vídeo no Ubuntu - o driver ATI que você adicionou não ajudará. No menu VMWare para configurações em sua máquina virtual, deve haver uma opção de exibição na guia hardware e, nas configurações de exibição, uma caixa de seleção 'Acelerar gráficos 3D'.