Sim. Na verdade, é exatamente para isso que um roteador é: ter uma conexão à Internet que entra por meio do cabo Ethernet RJ-45 e dividi-la em vários computadores enquanto, no processo, criamos uma rede exclusiva.
Você conecta o cabo RJ-45 na porta WAN e pluga todos os dispositivos nas portas LAN e conecta os clientes sem fio aos seus recursos de Wi-Fi.
Depois de configurar o roteador, tudo funcionará como esperado.
Observe que, se você precisar abrir as portas, fará isso no roteador, mas provavelmente também precisará pedir ao proprietário para abrir as portas no roteador. Para o uso simples da Internet, você não precisa se preocupar com as portas. Apenas para programas especiais como torrent, jogos, servidores de hospedagem, etc, você realmente precisa de encaminhamento de porta.