se o seu computador for um notebook, 1 andar deverá funcionar, mas se for um desktop, não conseguirá ter uma conexão decente em uma diferença de piso com adaptadores usb ou isa cards em 4 desktops diferentes e 4 adaptadores diferentes, mas notebooks funciona muito bem conectando ao mesmo roteador wi-fi em distâncias maiores ... Como eu tinha desktops nos dois andares eu instalei o roteador nas escadas e assim funcionou (não muito estável mas usável) por algum tempo mas agora eu uso um cabo! ;)
Tente colocar o roteador e o computador no mesmo andar e veja se você pode se conectar melhor para testar se a distância (ou geometria) é a causa.