O que você está procurando está no roteador, uma opção chamada reserva estática.
O que acontecerá é que, quando um dispositivo se conectar, ele verificará o endereço MAC. Se esse endereço for reservado, ele atribui o mesmo endereço IP toda vez que se conecta e não atribui esse endereço a nenhum outro dispositivo. Você não precisará alterar nada no Windows ou em outros dispositivos. Além disso, eles continuarão a obter novos endereços em outras redes se você mover seu computador