Posso pensar em pelo menos um motivo:
O host físico tem hardware real que precisa executar testes reais e responder com um status para o sistema operacional.
Isso é provavelmente mais pronunciado quando os drivers são inicializados; digamos, durante a inicialização ou instalação.
A máquina virtual possui hardware artificial (virtual) que responde em uma fração do tempo. Combine isso com os recursos do host que já estão "quentes" (unidades, memória, etc.) e as coisas ficam mais rápidas.
Por exemplo, compare a velocidade de inicialização, inicialização e utilização de uma unidade de DVD real, em comparação com a unidade anexada à VM.