Eu nunca fiz esse passo, mas parece razoável, já que você não quer colocar o roteador em estado inesperado enquanto atualiza o firmware. Você pode desconectá-los com força, excluindo suas concessões de IP usando a página de configurações DHCP do roteador e desativando a rede Wi-Fi (ou altere suas configurações para que os computadores falhem ao tentar se reconectar automaticamente).
Em segundo lugar, você deve sempre atualizar o firmware do roteador usando uma conexão direta com fio entre o PC e o roteador. A conectividade Wi-Fi é mais propensa a erros na transferência de pacotes e um pacote de firmware corrompido irá potencialmente bloquear o roteador. Não NÃO use uma conexão Wi-Fi para atualizar o firmware.