Para se conectar via SSH de A a B você precisará de um servidor SSH em execução em B. Para conectar-se a uma máquina Ubuntu, é só uma questão de instalar openssh-server e se certificar o serviço é iniciado. Para uma máquina Windows, você terá que escolher um dos servidores de terceiros disponíveis e instalá-lo.
Esta questão é uma boa ponto de partida para selecionar um servidor SSH do Windows; A Wikipedia também possui uma comparação de servidores . O OpenSSH for Windows , mencionado na resposta do @ FatPopDoWop, não teve lançamento nos anos AFAIK ( último no Sourceforge foi em 2004 ). Eu usei freeSSHd no Win XP e funciona bem, mas não posso dizer se isso acontece no Win 7.
O servidor (seu host) deve poder receber conexões TCP na porta de escuta SSH (22 por padrão); verifique o Firewall do Windows, como já mencionado.
O IP ao qual você precisa se conectar dependerá de como a rede está configurada na VM. Por exemplo, em uma VM que usa o modo de rede NAT, o host pode ser acessado a partir do convidado com o IP 10.0.2.2. Em qualquer caso, verifique se o SSH está escutando na interface que o cliente usará para se conectar. No modo NAT, as conexões são feitas através do localhost (pelo menos no Linux; suponho que o VirtualBox no Windows também funcione dessa maneira).