O problema é como o seu roteador implementa sua pilha IP. Há um vídeo muito bom do DEFCON 18 que aborda isso da perspectiva de um invasor , mas a informação ainda é relevante para o seu problema.
A essência da situação é que seu roteador tenta ser útil aceitando pacotes originados da rede interna que são destinados ao IP público do roteador como se eles estivessem realmente destinados ao endereço IP interno. Isso faz com que o roteador atenda à solicitação com o servidor admin, em vez de transmiti-lo ao servidor da Web.
Esta implementação fraca / strong não é algo que você pode alterar (sem reflashing), portanto, a solução provável será alternar os roteadores ou verificar se o roteador pode restringir o site de administração a determinados IPs de origem.