Não. Não é apenas o plug que é diferente, mas a sinalização em si. O roteador espera falar Ethernet através de suas portas 'RJ45', mas a linha telefônica geralmente fornece ADSL, que usa diferentes sinais elétricos e também carrega diferentes formatos de dados.
(Sem mencionar que o tipo usual de Ethernet requer pelo menos dois pares trançados - quatro para GbE - e a maioria das linhas telefônicas que eu vi só tem um par de fios ...)
Então, você deve de alguma forma converter o sinal ADSL em um sinal Ethernet, e como @sawdust já mencionado nos comentários, isso é chamado de "modem DSL".