A maneira mais fácil, se os grupos de computadores não precisam se comunicar com uns com os outros , é comprar mais alguns switches e conectar um switch a cada roteador. Não interconecte os interruptores entre si. Anexe os computadores ao switch conectado ao roteador que você deseja usar.
Se você quiser manter uma rede em que todas as máquinas possam ser acessadas no lado da LAN, provavelmente será necessário implementar um esquema de endereçamento IP manual em que você configura tudo em uma sub-rede: fornecer a cada roteador seu próprio endereço IP (nessa sub-rede) na sua interface LAN (interior). Para cada PC, defina o endereçamento IP estático e defina o gateway padrão como o endereço do roteador que você deseja usar.
Desative o DHCP em todos os roteadores. Em teoria, você poderia usar ainda usar DHCP com um servidor DHCP adequadamente sofisticado (que poderia fornecer diferentes endereços de gateway para clientes diferentes), mas não acho que você encontrará isso em um roteador de nível de consumidor.