Eu não penso assim - por exemplo, este blog post afirma o seguinte:
Both formats are wrappers around a raw disk image so raw performance isn’t really at issue.
No entanto, também diz o seguinte:
VirtualBox has to mount a vmdk image as a writethrough disk, which means it loses things like snapshots and possibly driver performance.
Não sei se isso se aplica à versão mais recente, mas parece que você deve usar a VDI.