Se é a GUI que você não gosta em 11.04, então você pode simplesmente reverter para a interface clássica do GNOME (ao invés da nova interface Unity), ao invés de fazer downgrade.
Para fazer isso, antes de digitar sua senha na tela de login, selecione 'Ubuntu Classic' como o tipo de sessão.