Eu diria que o problema é o mau gerenciamento de memória no firmware do roteador. Basicamente, sempre que o roteador precisa ter muitas conexões abertas, ele usa sua RAM, o que é normal. Quando uma conexão é fechada, essa RAM deve ser liberada. Parece que no seu caso não é. Como roteador tem menos e menos RAM disponível, ele se torna mais lento e mais lento e no final você tem que reiniciá-lo. Quando é reinicializado, o conteúdo da memória é apagado e você tem memória nova para usar.
Se for esse o caso, há muito pouco que você pode fazer. Seu roteador pode ser suportado por firmware de terceiros, como DD-WRT ou OpenWRT (onde está o resto de seu nome? Eu não posso dizer sem ele), então você poderia tentar instalar um dos então. Caso contrário, você poderia esperar por uma nova versão do firmware oficial que poderia resolver o problema.
Para verificar se estou certo, tente abrir muitas janelas e guias no seu navegador e vá para o maior número de sites possível em quantos computadores você puder. Além disso, você pode tentar encontrar um torrent quente e baixá-lo. O Bittorrent normalmente coloca uma carga pesada no roteador e se o problema de fechamento da conexão estiver lá, ele ocorrerá rapidamente.
Eu tive um problema semelhante em um roteador Netgear FVG318 e o resolvi obtendo um roteador que suporta OpenWRT. Eu não tive nenhum problema desde então.