Por que você está assumindo que o problema está na rede doméstica? Os problemas desaparecem se você remover o roteador e apenas se conectar diretamente ao modem? As coisas melhoram com um modem diferente? Provavelmente, isso é mais o seu DSL do que qualquer coisa relacionada à rede doméstica, a menos que você tenha um modem ou roteador escamoso.
Também parece que você tem um modem / roteador combinado, já que você mencionou que o modem tem DHCP.
O pior caso para a sua rede doméstica seria se você tivesse o seu modem e o seu roteador funcionando como roteadores, o que significa que você aninhava uma rede atrás da outra, mas mesmo nesse cenário, você não deveria ter os problemas mencionados.
Se você fosse gastar tempo e esforço para fazer isso corretamente, você teria que investigar / monitorar tanto o modem / roteador quanto o roteador sem fio, e ver qual deles está causando a queda das conexões. Na verdade, nenhum dos dois pode ser o problema e podem ser seus clientes individuais.
De qualquer forma, não há informações suficientes aqui para fornecer uma resposta "certa". Se eu fosse adivinhar, eu pensaria que você tem um roteador sem fio escamoso (não incomum com equipamento de rede doméstica). Você pode tentar um novo roteador sem fio (ou apenas um ponto de acesso) e ver se isso ajuda.