A Internet não chega à sua casa através de um cabo Ethernet, então você precisa de alguma peça de qualquer maneira. Este é normalmente o seu modem a cabo e eles vêm com roteadores (separados ou em um dispositivo) para permitir que vários dispositivos em sua casa se conectem ao mesmo tempo. Então, um roteador é necessário - mas apenas um roteador.
Você pode conectar seu servidor ao roteador no porão através de um cabo Ethernet, ou - provavelmente muito mais fácil - via conexão sem fio. A velocidade mais baixa de wireless versus LAN é irrelevante, já que o acesso à Internet que você tem será mais lento do que o wireless de qualquer maneira.
Se a rede sem fio não for strong o suficiente, ou seu servidor não tiver um cartão, ou você não puder se conectar a esse roteador por cabo (devido a distância, buracos no teto, etc.), você poderá comprar um segundo roteador e usá-lo como 'ponto de acesso' - a maioria dos roteadores pode ser configurada como tal. Esse segundo roteador se conectará ao do porão e ficará próximo ao seu servidor. Você pode conectá-lo novamente ao seu servidor por meio de um cabo Ethernet ou sem fio.