Se você puder se conectar a partir de sua rede local, o Ubuntu provavelmente não tem nada a ver com isso - é um problema de configuração de rede.
Muitos ISPs bloqueiam conexões de entrada em portas "incomuns" (ou todas as conexões de entrada). Alguns ISPs têm uma configuração em seu painel de controle, ativando / desativando o bloqueio de portas.
Como diagnóstico - tente expor a porta 80 (Apache executando alguma página da Web) - Tenho quase certeza de que você descobrirá que ela não funciona.
Você também pode mexer nas configurações do modem (como você sabe que você redirecionou "a porta correta"?), mas isso só ajudaria depois que você verificasse que seu provedor não bloqueia você.