Você tem 32 CPUs não utilizadas? se não, então talvez seja esse o problema. Eu não sei VirtualBox em tudo, mas houve um tempo em que mesmo o ESX VMWare seria mais lento se você deu uma VM vCPUs demais e eles não eram todos livres - isso é porque ele costumava esperar por todas as CPUs disponíveis para estar pronto para trabalhar antes de começar esse trabalho. Eles corrigiram isso anos atrás, mas talvez hipervisores livres como esse estejam por trás disso.