Você configurou o roteador2 para ter duas redes, mas o RJ11 tentará usar aquele que passa pela porta WAN. O RJ11 é afinal não apenas outra porta LAN.
Como você não tem computadores em rede no lado roteador1 da parede, você pode ficar com a configuração na qual a porta LAN do roteador 1 está conectada Router 2 WAN port, criando assim o seu próprio segmento de rede.
Se o motivo da sua configuração específica é que você está tentando isolar um computador dos outros, você pode conseguir isso usando VLANs , se suportado pelo roteador2 ou adicionar um terceiro roteador (o que não ajudará no desempenho do computador isolado).