Você não mencionou a implementação que está usando, por isso não posso ser muito específico. Mas o PSK é usado apenas para autenticação inicial e gerenciamento de chaves de sessão. Depois disso, ele nunca é usado novamente (exceto a reconexão, que está apenas começando uma nova sessão). Algumas implementações permitem que você altere o PSK sem reiniciar o daemon, outras não.
Se você tiver que mudá-lo regularmente, provavelmente não deveria estar usando o PSK; você deveria estar usando certificados.