Se você quer que seu servidor e seu roteador (com o resto de seus computadores atrás do roteador) estejam "diretamente" conectados ao modem, então você não precisa de outro roteador, mas um switch ethernet (também chamado de " hub "embora tecnicamente um switch e um hub sejam diferentes). Isso será mais barato que um roteador completo e também mais rápido. Para o modem, parecerá que o servidor e o roteador estão conectados diretamente.
Apenas certifique-se de que seu modem esteja OK com dois dispositivos conectados; alguns provedores permitem que apenas um dispositivo seja conectado ao modem; se um segundo dispositivo estiver conectado, ele não receberá um endereço IP.
+-------+ +------+ +------------+
| | | | | |
| | | +--------+server |
| | | | +--- --------+
|modem +--------+switch| +------+
| | | +---+ +-----------+ | |
| | | | | | | +-----+PC |
+-------+ +------+ | | +----+ | |
+----+ | +------+
| router |
| +----+ +------+
+----++-----+ | | |
++ +-----+ |
| PC |
+------+