Verifique o número de série em sobre nós na VM. Se não está lá ou é 0. Então, abaixo da solução, vai resolver o seu problema.
O VirtualBox não disponibiliza por padrão um número de série para os convidados do OS X. Claro OS X funciona muito bem dentro do VirtualBox rodando em um Mac, mesmo nesse caso. Mas, devido ao número de série ser "0", os aplicativos App Store e Server não funcionarão.
A solução é determinar o número de série do Mac real abrindo About This Mac ou executando System Information. É uma string alfanumérica. No meu Mac Pro 5,1, ele começa com uma letra e tem 11 caracteres.
No Terminal, execute o seguinte comando substituindo o nome da sua máquina virtual do VirtualBox e seu número de série (toda a linha):
VBoxManage setextradata “<your-vm-name>” VBoxInternal/Devices/efi/0/Config/DmiSystemSerial “<your-serial-number>“
Certifique-se de remover as citações enquanto insere o comando acima.
A inicialização da máquina após essa alteração apresentará um número de série que corresponde ao sistema básico e os aplicativos funcionarão corretamente.
Isso foi testado em um Mac Pro 5,1 executando 10.10.5 com o VirtualBox 5.0.14. O convidado foi 10.11.3.