A maioria dos modems ADSL vem com funções básicas do roteador, incluindo o NAT. Portanto, você deve ser capaz de configurar a conexão PPPoE no próprio modem ADSL - seu roteador interno usará NAT para permitir que vários computadores compartilhem a mesma conexão. (Procure por algumas configurações como "modo de ponte" vs "modo de roteador" (atualmente está em ponte), ou apenas "PPPoE".)
Se o seu modem não puder fazer isso, compre um roteador que possa & conecte-o ao modem - novamente, muitos "roteadores sem fio" domésticos suportam PPPoE para sua conexão WAN. (Double-NAT não será um problema aqui.)
(O próprio Windows também tem "compartilhamento de conexão com a Internet", mas precisa de um PC sempre ligado, com uma conexão Ethernet com fio e, idealmente, com duas conexões Ethernet - uma para o modem, uma para outros computadores.)