Você está tentando se conectar à VM que está por trás de um NAT, portanto, é necessário encaminhar as portas do roteador do NAT (da mesma forma que faria em um físico).
No VirtualBox, vá para:
Archive > Preferences > Network > Add new NAT Network > Edit
Ajuste suas opções para sua rede e vá para
Ports forwarding
Adicione uma nova regra com esta aparência:
TCP 0.0.0.0 22 192.168.0.10 10005
Agora você deve poder se conectar a partir de sua máquina física com:
ssh root@<physical machine ip adress> -p 10005