Estou assumindo que o que você está descrevendo como um modem é, na verdade, uma combinação de modem + roteador. Os modems geralmente têm apenas uma porta Ethernet (às vezes duas).
Além disso, os switches não possuem portas "in" ou "out" designadas; eles apenas (para usar uma descrição excessivamente simples) conectam tudo a tudo.
Então, sim, o que você faria é conectar qualquer porta do switch a uma porta no roteador e, em seguida, conectar as demais salas ao switch.
Tenha em mente que isso pode criar um gargalo, mas se você estiver usando hardware gigabit, isso provavelmente não será um problema. Os únicos cenários prováveis em que isso poderia ser um problema são se você tiver uma conexão à Internet de gigabit (como o Google Fiber) ou se tiver um servidor de arquivos / NAS. No segundo caso, você quer colocar o NAS e os quartos usando o NAS no comutador ou deseja colocá-los no roteador. É quando eles estão em lados opostos do switch que há um gargalo. (Eu posso desenhar um diagrama, se necessário; basta perguntar.)