Não, você não pode conectar dois modems DSL à mesma linha telefônica (o mesmo par de cobre) e fazer com que eles conversem entre si ou os dois conversem com o DSLAM do ISP (o terminal ISP de uma conexão de modem DSL) .
Se você tiver um segundo par de cobre (como uma "linha 2", mesmo que não seja usado no momento), talvez tenha opções como HomePNA. Ou você poderia obter uma segunda linha de serviço DSL nessa segunda linha, mas teria que configurar uma VPN entre os dois roteadores para que seus dispositivos frontais e posteriores possam se comunicar entre si.
Caso contrário, você precisará examinar o ramal sem fio (WDS), puxar cabo Cat5e ou superior para Ethernet (fibra se a corrida for superior a 100 metros), MoCA se você já tiver cabo coaxial ou rede elétrica como HomePlug AV2 ou G.Hn, etc.