O comprimento do fio telefônico pode ser um fator. Tente colocar o modem dsl perto do telefone, com um fio curto. Eu tive o mesmo problema e resolvi isso movendo o roteador e o modem para o local mais próximo do filtro adsl que pude.
Seu ISP poderia ser o outro fator (no meu país há apenas um, e é uma droga)