Sim, você precisa comprar um interruptor.
Conecte o comutador a uma das portas LAN do roteador (por exemplo, uma delas onde um computador "normal" funcionará). Em seguida, conecte seu (s) computador (es) a uma das portas do switch.
Certifique-se de que, se você tiver um roteador Gigabit LAN, também poderá comprar um comutador com capacidade Gigabit. Isso melhorará o desempenho da sua rede.