Você pode tentar várias coisas para aumentar o desempenho.
Uma coisa que é mais óbvia é mudar para um DE diferente se você está tentando extrair mais do seu hardware, mas duvido que esse seja o problema. Embora eu tenha notado que o Gnome Shell funciona bem junto com outros DEs mais leves. Isso não é realmente necessário embora.
Certifique-se de ter os drivers de placa de vídeo proprietários mais provavelmente instalados.
Se você estiver em um laptop, poderá alterar a frequência do CPU algumas vezes em modo inferior para economizar energia. O Jupiter é um ótimo programa de bandeja de ferramentas do sistema que simplifica essas mudanças.
Você também pode tentar um programa chamado preload, que carrega automaticamente as bibliotecas do sistema que você usa frequentemente na inicialização para fazer as coisas mais rápido e, como você tem muita memória, essa é provavelmente a melhor maneira. Eu tenho 16GB e é isso que eu faço.
sudo apt-get install preload
Além disso, sem mais detalhes sobre o que é exatamente o problema que você tem com o "desempenho", é difícil dizer.
Eu sei que no Unity algumas coisas são atrasadas para fazer as coisas parecerem mais legais se desvanecendo visualmente no lugar. Essas configurações podem ser alteradas se é isso que você está referenciando.
Dê-nos mais informações e talvez possamos ajudá-lo melhor. Jogando fora uma declaração como "eu tenho uma máquina incrível e Ubuntu é uma merda" não nos ajuda a ajudá-lo.
Espero que isso ajude.