Atualmente executando o Ubuntu GNOME 16.04.1 no VirtualBox com um i7 3770k @ 4.2GHz e um GTX 770 com aceleração 3D ativada. Eu também tenho dois núcleos e 4GB de ram atribuído. Eu estou usando um disco fixo de 30GB no meu disco rígido. Eu também instalei o CD de adições de convidados.
Meu desempenho é um pouco lento, especialmente quando rola a gaveta de aplicativos. É possível melhorar ainda mais meu desempenho ou será sempre lento com o uso do virtualbox?
Virtualbox é o que é (rodando um sistema operacional em cima do outro), você sempre notará um pingo de diferença de velocidade entre o sistema operacional do seu host e sua máquina virtual.
Você pode tentar atribuir mais memória ram ou mais núcleos temporariamente apenas para ver se melhora o desempenho. Verifique também se o limite de execução da CPU está em 100%.