Eu tenho uma configuração semelhante WRT54GS com 60/70 computadores e DDWRT 0.24SP1.
Tente procurar o tempo limite da conexão, se definido como 3600, defina-o como 300, procure também as conexões ativas máximas e defina-o como um valor razoável, como 1024/2048, para o tamanho da sua rede. Eu raramente tenho mais de 1000 conexões ativas de cada vez com o tempo limite configurado para 300.
[EDITAR] Para o problema de memória, isso pode estar relacionado à configuração máxima de conexão ativa. Não o configure para 4096, pois consome bastante memória. Configure para 1024.