Eu já fiz isso antes - com um roteador reserva rodando como AP, e eles serão desconectados.
No meu caso específico eu usei um laptop com um adaptador 802.11n 150mbps embutido, conectando a uma asus RT-N56U em execução no modo AP. Você provavelmente obterá os mesmos resultados com outro AP.
Enquanto estava mexendo com meu roteador, também verifiquei a alteração da senha (mesmo efeito).
Qualquer mudança importante em suas configurações de AP provavelmente derrubará todos os seus clientes, e você precisará configurá-los novamente. O que você quer não é possível.