Sim, a maneira mais fácil e segura de fazer isso é criar uma rede (sub-rede) separada para eles e colocar um dispositivo de firewall entre essa sub-rede e o resto de sua rede, o que limita as conexões a um único endereço IP.
A maioria dos roteadores de clientes não pode fazer esse tipo de configuração pronta para uso. Eu procuraria por um roteador que pode executar OpenWRT / LEDE ou pfSense. Idealmente, isso seria um roteador com várias interfaces diferentes, para que as sub-redes possam ser separadas fisicamente ou com suporte para VLANs e tags. Responder exatamente como fazer isso realmente não é possível até que você tenha um roteador / plataforma específico escolhido.