Independentemente de o servidor ser uma máquina real ou virtual, você precisará encaminhar as portas apropriadas em seu roteador LAN, ou seja, converter do IP público obtido de ifconfig.me para o IP privado do servidor. Você precisará consultar a documentação do seu roteador para ver como fazer isso para o seu dispositivo específico.
Se você quiser usar a VM no modo NAT, ela precisará apenas da etapa adicional de encaminhar as portas equivalentes, também, do IP da LAN real do host para o IP da LAN virtual do convidado da VM.