Dependerá do seu tamanho. Se você tem apenas uma centena de usuários, seria melhor conectar tudo de volta ao patch panel central e fazer a mudança de lá. Isto é principalmente uma questão de segurança de infra-estrutura em minha mente, pois é muito mais fácil bloquear uma sala de comunicação e ter seus interruptores longe de mãos curiosas.
Se você estiver falando com várias centenas de usuários, conecte-os de volta a salas de comunicados do departamento ou do departamento, que estão bloqueados e, em seguida, entroncam o tráfego de volta à sua sala principal de comunicação.
Não importa o que você fizer, não esqueça de deixar cabo escuro suficiente para lidar com a redundância / expansão. Você não quer um rato para comer um cabo e tirar um departamento inteiro.
Em última análise, você precisa decidir com base no tipo de tráfego de seus usuários, orçamento, etc. Os switches gerenciados também tornarão a segunda opção mais viável, mas eu concordo com Antonie em relação à latência de alternância que provavelmente não será uma grande preocupação.