Parece que você tem um problema com seu PC. :)
O Ubuntu será um pouco mais lento se instalado com o instalador do Windows, já que ele será instalado em uma unidade virtual e não em uma partição HDD real. Mas nunca tão lento.
Tente executar um desfragmentador de disco a partir da instalação do Windows antes de instalar o Ubuntu, pois seu disco rígido pode estar fragmentado demais para que a unidade virtual criada para o Ubuntu fique fragmentada em toda a sua unidade física.
Outra coisa, tente executar o Ubuntu no seu sistema com uma unidade USB e verifique a diferença.