Você está correto em sua suspeita de seu pendrive. As unidades flash USB normalmente não apresentam um desempenho muito bom (leitura / gravação) em comparação com os discos rígidos internos comuns ou os discos de estado sólido. As VMs, que farão muitas leituras e gravações, vão sobrecarregar muito seu pendrive.
Considere um disco rígido externo ou SSD, de preferência com uma fonte de alimentação externa (um cabo de alimentação além do cabo USB). Se você quiser ficar com um pendrive, pode olhar em volta e encontrar "melhores" unidades USB. Fique de olho nas velocidades de leitura / gravação. Se não especificar, não se surpreenda se for lento.
Como exemplo, veja estas duas unidades ( esta e that ) listado no Newegg do mesmo fabricante (Kingston), na mesma capacidade (64 GB), e ambos usando USB 3. O primeiro tem velocidades de:
Read: up to 100 MB/s
Write: up to 15 MB/s
O segundo tem velocidades de:
Read: up to 250MB/s
Write: up to 85MB/s
--- EDIT ---
Dado o modelo da sua unidade flash USB, tenho certeza de que esse é o fator limitante. Você precisará de algo mais poderoso.