Precisaria conhecer o modelo / revisão de seus roteadores que você tem atualmente.
Se os seus roteadores suportarem o DD-WRT, você poderá fazer uma configuração de "ponte de repetição" com o segundo roteador para permitir que os dispositivos que estão dentro do alcance do segundo roteador se conectem ao roteador principal. Eles ainda seriam "encadeados" de uma certa maneira, mas o segundo roteador usará o sinal sem fio para o tráfego e não haverá necessidade de um cabo ethernet entre os dois.
Como você mencionou o uso de computadores / dispositivos no andar de baixo em cabos Ethernet, você poderia fazer uma ponte cliente em vez da ponte do repetidor. Em uma configuração de "ponte cliente", você só poderia usar conexões com fio no segundo roteador.
Se você decidir seguir a rota DD-WRT, leia todas as informações sobre como passar para o DD-WRT.