Não tenho benchmarks concretos, mas ao tentar, a resposta é apenas quando o usuário inicializa o hipervisor.
Eu usei um pendrive USB Muito Rápido de 8GB, mas precisei usá-lo para outra coisa, então substituí-lo por um de 2GB barato que ganhei gratuitamente em uma feira.
Ele inicializa um pouco mais devagar ao iniciar o ESXi, mas quando ele é carregado e na tela meio amarela / cinza, não consigo ver nenhuma diferença na velocidade.