Meu palpite é que você provavelmente não forneceu um ou mais dos sistemas mínimos requisitos o software precisa ser executado. Se eu tivesse que adivinhar, apostaria na capacidade da GPU ou na capacidade de memória.
Tente pesquisar na pasta do aplicativo por algum tipo de registro de falhas (procure por arquivos .log ou .txt que não estavam lá), para ver se há um erro explícito, mas duvido que um problema de memória seja evidente ou apoiado pelos desenvolvedores, uma vez que você diga que está executando em uma VM.
Você pode tentar garantir que sua VM tenha 4 GB disponíveis e ativar todas as configurações de suporte da GPU nas configurações da máquina do VirtualBox, mas, no final, uma VM é muito vinculada a hardware. Se este software realmente requer um GPU strong e muita memória rápida, ele funcionará muito lentamente ou falhará de maneiras inesperadas.