Não há problema em ter vários roteadores na rede, desde que estejam configurados corretamente. Você quer ter um roteador, não um switch, atuando como seu gateway conectado ao seu modem a cabo. Esse roteador deve ter o Wi-Fi desativado e deve estar executando um servidor DHCP para atribuir endereços IP.
Seu segundo (e qualquer roteador subseqüente) deve ser configurado para desabilitar o servidor DHCP. Além disso, você deve conectar a conexão ao primeiro roteador em uma das portas LAN do roteador, em vez da porta WAN. Você também precisará configurar um endereço IP estático para esse roteador que esteja fora do intervalo do servidor DHCP, talvez algo como 192.168.0.2
.
Com essa configuração, todas as suas máquinas estarão na mesma rede e devem obter seus endereços IP do servidor DHCP no primeiro roteador.