Seu roteador pode encaminhar cada porta para uma máquina como uma hora. Isso significa que você substituiu o 80 externo em seu servidor local.
Tenho receio de que o firewall só permitirá que a máquina local faça alterações agora. Você precisa ir até o seu local.
Por outro lado, se você tiver acesso remoto à tela (VNC, RDP, X) a um dos computadores, você poderá acessar o roteador a partir dele, pois é a mesma coisa para o roteador que o acesso local.
Além disso, você já deve saber que não é seguro permitir a administração remota do roteador, a menos que você tenha uma senha e um usuário muito bons, o que ainda me deixaria nervoso.