A resposta curta é não.
Você vê o endereço IP dos roteadores porque esse é o endereço publicamente roteavel; o endereço do seu servidor estará em seu espaço de endereço privado. A única maneira que você pode chegar ao seu servidor é configurar seu roteador para fazer o encaminhamento de porta para serviços específicos (como ssh & www).
Esteja ciente de que o endereço dos seus roteadores mudará ocasionalmente, portanto, talvez você queira investigar o DNS dinâmico se o projeto for de longo prazo.