Adicione o adaptador de rede somente host em sua VM, defina um ip dentro do intervalo do adaptador de rede host apenas no seu notebook .
Dessa forma, você será capaz de acessar sua vm via ssh para qualquer rede que estiver conectada, você deve usar o host ip apenas para conectar via ssh.
Uma postagem com mais detalhes link