Sim, você pode fazer isso. Basta obter um ponto de acesso (ou obter um roteador e desativar a funcionalidade WAN e DHCP) e conectar as portas LAN dos dispositivos.
Se você usar o mesmo SSID (mas frequências diferentes - e idealmente não sobrepostas), você poderá até mesmo deslocar-se entre os APs. Você não precisa se preocupar com o WDS ou o modo repeat / bridge / whatever se você puder conectar os roteadores usando ethernet (ou mesmo usando Ethernet sobre powerline se não puder fazê-lo diretamente), e você obterá um mais rápido, mais rede robusta.
Usar um repetidor é outra possibilidade, mas eles são ruins. (Eles vão apenas re-transmitir o seu WIFI existente, mas irá reduzir o desempenho geral - então você troca de velocidade)