Isso geralmente é um problema ao executar arquivos .exe de uma pasta compartilhada de caixa virtual no convidado do Windows. A solução é rodar o .exe usando caminhos UNC, por exemplo. No seu Explorer (no Windows), vá para \ Vboxsvr \ sua pasta compartilhada \ caminho \ para \ pasta \ com \ exe e execute o .exe de lá.
Veja mais algumas informações sobre isso: link