O que você precisa é de um roteador. Existem dezenas ou centenas de roteadores disponíveis em várias empresas e com recursos variados. Você pode comprar um na loja de informática mais próxima, ou até no Wal-Mart.
Se você já possui um hub ou switch Ethernet, sua opção mais barata seria comprar um roteador independente, que você conectará ao seu modem a cabo e ao seu switch. Você então conectará cada laptop ao switch.
Se você ainda não possui um switch / hub, convém comprar um roteador que tenha um switch interno. Estes são bastante comuns, e provavelmente não custam muito (se houver) mais do que um roteador sem um switch. Você conectará o modem a cabo no roteador e, em seguida, conectará cada laptop ao roteador.
A opção mais flexível será comprar um roteador com um ponto de acesso sem fio integrado. Isso permitirá que seus laptops se conectem usando seus adaptadores de rede sem fio integrados e você não precisará usar um cabo Ethernet (exceto entre o roteador e o modem).
Para informações mais detalhadas sobre os tipos de roteadores, sugiro fazer uma simples pesquisa no google por "SOHO Router" e ler sobre eles antes de ir à loja.
Você também pode comprar um roteador diretamente do seu ISP. Isso provavelmente será uma combinação de roteador / modem, que substituiria o seu modem existente. Você provavelmente pagará mais dessa forma, mas terá a garantia de que funcionará exatamente com o tipo de serviço de Internet que eles fornecem.