Você precisa verificar se o seu homeserver está em um local com um endereço IP fixo. Alguns provedores de serviços de Internet usam IPs fixos, provavelmente a maioria não. Este é o seu IP externo, portanto seu roteador de banda larga em casa terá 1 IP externo. Em seguida, cada dispositivo em sua casa terá seu próprio IP privado ou interno. Se você tem um IP estático, o subdomínio pode apontar para isso, mas se não tiver, você precisará usar algum tipo de serviço de DNS dinâmico, por exemplo, dyndns.org, que pode ser configurado em certas marcas de roteador de banda larga.
A melhor maneira de configurar o subdomínio pode ser usar o gerenciamento de domínio de onde você comprou o domínio principal, em vez de configurá-lo no cPanel, mas eu não uso o cPanel agora, então não tenho certeza sobre isso pouco.
Então, quando o tráfego vem do subdomínio para o roteador, você precisa configurar o redirecionamento para que o roteador saiba onde sua rede doméstica deve enviá-lo. Dependendo de como você está usando, é provavelmente configurações de Redirecionamento de porta no roteador. Se for tráfego HTTP, você provavelmente desejará configurar a porta pública 80 do roteador para redirecionar para a porta 80 do endereço IP do seu homeserver. Além disso, seu homeserver provavelmente precisará ter um endereço IP fixo para que o roteador sempre saiba onde encontrá-lo.
Eu notei que você disse que o seu homeserver tem um IP público. Se realmente tiver um IP público, obviamente você poderá pular algumas dessas etapas, mas geralmente é apenas o roteador que tem o IP público.
Sinta-se à vontade para me corrigir mais alguém! Já faz um tempo desde que eu fiz algo parecido com isso