Desde que o roteador não esteja executando nenhum protocolo de roteamento dinâmico e um gateway para a Internet esteja configurado (e quaisquer rotas necessárias para ele em qualquer roteador intermediário), sim.
Você também pode querer usar um intervalo de endereços IP privados diferentes, apenas para ter mais certeza.