Eu acho que o que você está procurando é chamado de switch de rede. Este é um dispositivo de link de dados (segundo) ou de camada superior para combinar conexões Ethernet. Na verdade, muito mais funcionalidade do que você precisa, mas alguns switches da camada 2 são tão baratos (o NewEgg os tem por US $ 10) não importa.
Havia dispositivos mais simples, chamados hubs de rede, que trabalhavam na camada física (primeira). Os switches ficaram tão baratos que afastaram o mercado. Algumas pessoas chamam hubs de switches, mas eu sou um escritor técnico e, portanto, um nitpicker semântico.
Existem maneiras de dividir os cabos Ethernet para que você não precise de um hub ou switch, mas a menos que exista algum motivo importante para não instalar essa caixa extra, dividir os cabos é uma complicação desnecessária.
Veja por que não estou 100% certo de que entendi sua pergunta. Não está claro para mim exatamente que tipo de dispositivo você está falando quando se refere a um "modem". A configuração da interface WAN está incorporada ao seu "modem"? Ou os dois computadores contêm a configuração? Se você não tiver certeza, postar a marca e o modelo deste dispositivo seria útil. Se o "modem" lidar com a própria conexão WAN, ele fornecerá um endpoint de rede e um switch ou hub funcionará. Caso contrário, você precisa subir um nível dos switches e obter um roteador. Como você está usando Ethernet física, o roteador não precisa ser sem fio, embora você provavelmente não o salve comprando um roteador apenas com fio para uma rede de dois computadores.