Não, não é a configuração correta. Na verdade, pode ser que não funcione, já que você estará tentando extrair 4 endereços IP do seu provedor, e eles não vão gostar disso.
Você pode manter seu switch e roteador wifi onde eles estão. Você só precisa executar um cabo extra. Execute algum Cat5e (ou 5, ou 6, ou 6e se estiver se sentindo chique) do modem para a porta WAN do seu roteador e, em seguida, um da porta LAN do roteador de volta ao seu switch. De lá, você pode conectar qualquer coisa que quiser ao switch ou roteador, e tudo estará na mesma rede.
Como outros já disseram, muda para não ter portas WAN. Correndo o risco de simplificação, pense em um interruptor como uma caixa mágica que permite que você conecte mais coisas - sem distinção entre WAN e LAN.