Pode ser que ele não seja roteado para a exibição correta?
Como você descobriu, você pode resolvê-lo usando o sinalizador --enviroment. O comando deve ser:
VBoxManage.exe guestcontrol MyVirtualMachineUbuntu exec --image "/usr/bin/firefox" --username bob --password password --wait-stdout --verbose --environment "DISPLAY=:0"