Eu ainda duvido que a sua porta seja encaminhada corretamente pelo ISP.
O fato de você precisar de DDNS sugere que você se conecte através de VPN de algum tipo, e a maioria dos ISP, por padrão, fornece um IP externo compartilhado, o que torna as coisas mais complicadas. Em alguns casos, eles até têm um pool de IPs e algumas pessoas sortudas recebem o indivíduo totalmente encaminhado e outros são compartilhados aleatoriamente. Reconectar a VPN até obter uma que você queira às vezes ajuda. Normalmente, se você ligar para seu ISP, ele poderá ajudá-lo a encaminhar alguma porta ou a vender um IP estático / branco por US $ 1-10 adicionais, dependendo do ISP.
Ter um IP compartilhado fornece exatamente os sintomas que você descreve.
Ofc outros cenários obscuros também são possíveis, como o desligamento do roteador VPN por timeout, etc.