É viável, simplesmente depende da carga.
Eu recomendaria um USB com o maior RPM. A maioria atingirá o pico em cerca de 5400 RPM, mas você poderá encontrar um 7200 RPM, especialmente se comprar o HD e seu próprio compartimento externo.
Se você estiver executando várias VMs no USB ao mesmo tempo, provavelmente terá alguma lentidão. Uma coisa a considerar é que, se você tem um laptop, normalmente pode comprar um compartimento de unidade de disco rígido que substitui uma unidade de DVD e pode colocar uma unidade SATA de 7200 RPM lá. Eu faço isso com um Thinkpad T61