A solução mais simples é habilitar uma conexão em ponte, você pode encontrar aqui como fazer isso. Depois de ter feito isso e iniciado sua VM, ele aparecerá em sua rede local com um IP apenas como seu host. Então você pode ssh nele por meio de
ssh me@IP_of_my_VM
ou o que você usa no Windows, Putty, eu presumo.