Execute o seguinte comando no terminal:
gsettings set org.gnome.desktop.interface toolbar-style 'icons'
Os outros valores válidos são: 'both' , 'both-horiz' e 'text' .
As alterações devem ser visíveis imediatamente, para que você não precise reiniciar ou fazer login novamente.