O VirtualBox atua como um roteador (virtual) separado em seu host. Assim, com a configuração padrão para uma interface virtual (NAT), você não poderá acessar seu host (exceto usando alguns truques mencionados no manual do VirtualBox - procure por NAT e encaminhamento de porta).
A maneira mais simples de tornar seu convidado acessível a partir do host é alternar o modo de rede para "em ponte". Nesse modo, seu convidado é um membro de sua rede "real", obtém seu endereço IP do servidor DHCP real e pode ser acessado como qualquer host real em sua rede.
Você pode ter que verificar se a interface virtual é conectada à interface real correta no host (o Wi-Fi às vezes é problemático).
Como mencionado por Andreas: não se acostume a usar o telnet - sua caixa do linux não o habilita por padrão - use ping para testar a acessibilidade e instalar o SSH no guest e usar algo como massa para acessá-lo do seu host do Windows.