Geralmente, o que controla a resolução do nome da máquina é o servidor DNS, que neste caso provavelmente será o roteador conectado diretamente ao seu modem (a menos que o modem seja um combo de modem / roteador).
O DNS é o que encontra o ip para os nomes dos computadores, mas o segundo roteador provavelmente está tentando atuar como o DNS também. Portanto, pense desta forma, o roteador 1 pode encontrar todos os endereços de máquina, porque todos os computadores passam por ele para a rede / internet, mas o roteador 2 só pode verificar os computadores que se conectam através dele. Gostaria de verificar a configuração de DNS no roteador 1 e colocar as mesmas configurações no roteador 2 (deve ser o IP para o seu roteador 1 ou modem).
Você deseja usar o mesmo DNS em toda a rede ou encontrar problemas como esse em que sua rede é dividida em diferentes partes.
Espero que faça sentido, se não, vou tentar esclarecer o que eu não falei corretamente.