Minha sugestão seria garantir que o firewall fosse desativado na VM antes de prosseguir com as alterações no adaptador de rede. Algumas versões de O / S são padronizadas com o firewall ativado, o que pode bloquear as tentativas de conexão de entrada do SSH. Depois de desligar o iptables ou o ufw dependendo da sua versão do O / S ou de qualquer serviço que esteja usando. Se isso não resolver o problema, tente cada configuração de adaptador de rede no VirtualBox.
sudo ufw disable
ou
sudo service iptables stop