Você pode ter um roteador servindo DHCP e criar uma "ponte" para o outro. Isso significa que todos os dispositivos obteriam o endereço IP de um roteador.
O outro método seria ter o DHCP habilitado em ambos os roteadores, apenas pressionando diferentes faixas de IP, por exemplo, o primeiro em um IP de 192.168.2.1 e passando de 192.168.2.2 até 100, e o segundo em um IP de 192.168. 2.101 e empurrando 192.168.2.102 até 192.168.2.200. Não tenho certeza o quão bem isso funcionaria embora. Ou você pode até fazer uma sub-rede diferente, então o upstars é 192.168.2.xe o downstairs é 192.168.3.x.