Para acessar o serviço POTS - sim, esse é o termo técnico - de uma linha telefônica, você precisa hardware que poderia gerar e ler um sinal de áudio na linha telefônica. No mínimo, isso requer uma conexão física com a linha telefônica.
Um modem de nível de consumidor fornece uma interface para o computador conectado ao modem para tirar a linha do gancho e discar um número. A interface de modem padrão não dá ao computador qualquer acesso para realmente enviar ou receber áudio pela linha telefônica. Então, se o seu PC tivesse um modem, você poderia conectar a linha ao modem e usá-lo para discar o telefone, mas você precisaria de um telefone separado conectado à linha para falar ou ouvir.
Alguns computadores têm o que são apelidados de "winmodems". O modem hardware é mais simples e geralmente consiste em um processador de sinal que dá a capacidade direta de gerar ou processar um sinal de áudio na linha. Um driver de software específico do sistema operacional fornece a interface de modem normal. Se o seu computador tivesse uma dessas winmodems e você conectasse a linha telefônica a ela, então você poderia hipoteticamente ter um software que pudesse discar a linha e enviar e receber áudio. Não conheço nenhum padrão de hardware para esse tipo de coisa, então você depende do fornecedor do seu PC para fornecer software de telefone que funcione para o winmodem do seu PC.
Mas você diz que a linha telefônica está conectada a um roteador ADSL, não ao seu PC. Portanto, o seu PC nem tem acesso à linha telefônica física; o roteador faz. Para que isso funcione, o roteador deve conter hardware para acessar o serviço POTS, incluindo envio e recebimento de áudio. E de alguma forma teria que expor essa interface pela rede. E você precisaria de um software no seu PC para acessar o serviço no roteador.
Você teria que verificar seu roteador específico para ver se o fabricante forneceu esses recursos. O ADSL não usa o recurso POTS de uma linha telefônica e não emite ou lê sinais de áudio. Portanto, um roteador típico não vai conter o hardware certo para acessar o serviço POTS em uma linha telefônica. Um fabricante de roteadores poderia hipoteticamente construir um roteador DSL com capacidade POTS, mas seria um recurso de valor agregado e aumentaria o custo do dispositivo.