Eu não sei como o VirtualBox lida com instalações guest do MacOS, mas antes de ver a tela cinza do OSX, você deve tentar pressionar Cmd + V (nos teclados do Windows você deve tentar Alt + V e se ele não funcionar Win + V). É importante que os botões sejam pressionados antes de ver a tela cinza.
O Cmd + V iniciará o MacOS no modo detalhado e é melhor você começar a prestar atenção, porque a atitude de "monte de rabiscos" ao instalar o MacOS em hardware de PC ou em máquinas virtuais geralmente não funciona.
Você deve ver o que o MacOS de arquivo / driver / kext está pendurado e usar o google (ou superusuário) para tentar resolver o problema.