Eu tenho uma configuração semelhante.
Eu tenho um modem ADSL Netcomm (conectado à linha telefônica), que tem uma conexão Ethernet com uma D-Link de 4 portas Roteador GigaBit WiFi.
O que pode ajudar:
Eu desabilitei o PPPoA no modem ADSL e, em vez disso, use PPPoE no roteador WiFi.
Isso agora é significativamente mais estável, caso contrário, o roteador ADSL é redefinido a cada 4-5 horas. Ele geralmente se reconectaria automaticamente, mas interromperia downloads, e-mails, etc.
Ainda não tem certeza do que pode estar causando o problema do WiFi para você.