Muitos roteadores não podem ser acessados em seus endereços IP públicos pela rede local. A razão para isso é que a maioria dos roteadores lida com pacotes da rede local de maneira diferente dos pacotes da Internet.
Você pode pedir a um amigo para tentar acessar seu roteador pelo lado de fora se quiser verificar se o seu roteador pode ser acessado. Alternativamente, você pode usar um proxy e ver se acontece a mesma coisa.
Se você quiser torná-lo inacessível a partir da internet, você deve ver o manual do seu roteador. Muito provavelmente você terá que colocar o endereço IP local na barra de endereços do seu navegador e acessar a interface de gerenciamento de lá. Aqui você terá a possibilidade de desativar a interface de gerenciamento no endereço IP da Internet.