Acontece que eu esqueci um passo ... Eu precisava adicionar uma rota para o convidado virtual dizendo-lhe como chegar à LAN externa em que o meu aparelho está sentado através do endereço IP da interface vboxnet0 no host do VirtualBox. Depois que fiz isso, consegui me comunicar com ele externamente.
obrigado @Sirex por comentar a minha pergunta o suficiente para me fazer pensar mais sobre isso!