Se você configurá-los corretamente, basta fazer a alteração no sistema do seu escritório, sem a necessidade de visitar o site, já que o controlador pode estar distante dos pontos de acesso, por design.
Se você não configurou corretamente, você o levará de volta ao escritório. Isso pode motivá-lo a configurar uma instância de controlador de locais de clientes adequada, acessível em seu escritório ou na nuvem; ou não, dependendo de você. Os detalhes de como fazer isso podem ser encontrados no fórum Uniqui da Ubiquiti.
Todas as alterações nos AP UniFi são feitas no controlador e comunicadas do controlador aos APs. Não há backdoor, é assim que o sistema é projetado para funcionar.