O gnome-shell requer algum nível de aceleração de hardware 3D para funcionar.
Não precisa ser um hardware especial - gráficos integrados devem, em quase todos os casos, estar bem. Mas a aceleração 3D deve estar funcionando.
O gerenciador de janelas do Gnome 3, o mutter, é um gerenciador de janelas de composição que é acelerado pelo OpenGL.
Se o gnome-shell não detectar que você tem os recursos certos, ele carregará em um "modo de fallback", o que significa que ele carrega um painel de estilo antigo que se parece com o Gnome 2 e não usa uma composição gerenciador de janelas.
O Ubuntu tem maneiras úteis de instalar drivers proprietários para gráficos - você já tentou isso?