Verifique se o servidor ssh está iniciado e está escutando em todas as interfaces ou na interface de onde você está vindo. Troque também o adaptador no VirtualBox do NAT para rede interna ou para bridge .
Acabei de baixar e instalei o Ubuntu 10.10 em uma VM no VirtualBox (4.0.4). Tudo na VM está definido para os padrões: adaptador NAT. Ao instalar o sistema operacional, selecionei o OpenSSH e nada mais.
Eu tentei conectar-me ao servidor via ssh a partir do host (executando o Mac OS X), mas só tem tempo limite. Não é possível scp minhas credenciais para ele ou ping o servidor também. Tanto quanto eu posso dizer, o servidor está bem conectado, tem um IP válido e pode pingar google.com.
Eu sei que estou sentindo falta de algo básico aqui ... Eu não acredito que tenha algum tipo de firewall, a menos que exista uma que eu não conheça que venha com a instalação. iptables tem a configuração padrão.
Tags ssh virtualbox firewall ubuntu