O propósito de várias opções aqui é uma questão de compatibilidade, não de desempenho. Todos eles fazem basicamente a mesma coisa, portanto, quaisquer diferenças de desempenho provavelmente serão problemas de maturidade de implementação, em vez de falhas inerentes ao design do formato.
VDI terá recebido mais atenção no VirtualBox, VMDK no VMware, etc.
Meu conselho, então, é sempre usar o formato nativo para cada tecnologia de VM, a menos que você esteja migrando um disco virtual de uma tecnologia de VM para outra. Ao migrar, vá em frente e mantenha o disco em seu formato original, em vez de se preocupar com uma conversão de formato, a menos que você tenha uma ferramenta que facilite isso.