Você quer que o roteador no andar de cima atue apenas como uma ponte / switch, não como um roteador / gateway.
No roteador no andar de cima, desative o serviço NAT e DHCP para que ele apenas faça a ponte entre a WAN e a LAN. Se não tiver uma opção para isso, então pegue o cabo Ethernet que está em sua porta WAN (ou seja, o cabo que desce) e mova-o para uma de suas portas LAN (todas as portas LAN estão na mesma ponte / interruptor). Se não houver uma opção para desativar o servidor DHCP, defina o tamanho do pool de endereços DHCP como zero.