Isso deve funcionar. Certifique-se de desativar o servidor DHCP do roteador.
Atribua a ele um endereço IP da LAN dentro do intervalo que o outro roteador manipula, mas, idealmente, fora do intervalo de DHCP. Por exemplo, se o endereço de LAN do outro roteador for 192.168.0.1 e seu intervalo de DHCP for 192.168.0.100 a 192.168.0.200, 192.168.0.2 seria um bom endereço de LAN para o outro roteador.
Conecte uma porta LAN em um roteador a uma porta LAN no outro roteador.
Você não desejaria uma porta Ethernet WAN, de qualquer forma - o roteador não está conectado a uma WAN.