Sim, isso não é apenas possível, isso é feito por muitas pessoas.
Seu roteador cria uma rede e todos os dispositivos conectados a ela (por fio e sem fio) são colocados dentro dessa rede e o roteador controla como todos os clientes interagem entre si e com a Internet.
O único limite que você terá é como a LAN é configurada. Por padrão, o servidor DHCP terá um escopo de cerca de 100 clientes, o que significa que 100 clientes podem se conectar antes que o servidor DCHP esteja cheio e não possam distribuir outro endereço IP. Mas é claro que isso pode ser mudado e aumentado. Pode haver um limite em quantos dispositivos podem se conectar através de Wi-Fi ao mesmo tempo, mas seu roteador terá algo assim mencionado em seu manual.