A melhor coisa a fazer seria dar ao roteador do andar de cima um ip estático. Abra um navegador da Web e digite o IP atual do roteador no andar de cima e altere as configurações a partir dele. Torne a máscara de sub-rede e o gateway padrão iguais aos do andar de baixo.
E sim, você pode configurar o DHCP para ser escalonado um pouco, para que você não tenha computadores tentando usar o mesmo IP.