Qualquer virtualização em que você possa pensar virá com o preço de desempenho reduzido. Você pode ajustar as configurações no VirtualBox, como aumentar a quantidade de RAM disponível para o sistema operacional convidado, para tentar melhorar o desempenho, mas há muito o que você pode fazer. O sistema operacional convidado nunca será executado tão rápido quanto o sistema operacional host.
Considerando que você está virtualizando o Ubuntu, você já pensou em usar o Wubi ? Ele permite que você instale o Ubuntu diretamente do Windows. Ele alocará um arquivo em sua unidade C: que servirá como disco rígido para o Ubuntu, e automaticamente cuidará da configuração da inicialização dupla. Sempre que você quiser se livrar dele, poderá desinstalá-lo do Windows como se fosse um aplicativo comum.