Eu honestamente não acho que rodar no modo de 32 bits vai beneficiar você no desempenho. Eu tenho configuração mac semelhante, mas eu VM Windows 7 e partição RAM e núcleos ao meio e têm um desempenho bastante razoável, desde que eu não estou usando essa configuração "Unity" no VMWare.
Algumas delas podem ser uma combinação ou discos rígidos lentos, seu software de VM ou processador.
Sem mais algumas especificações em sua máquina host, seria realmente difícil identificar a causa específica do desempenho insatisfatório.