Parece que a porta do comutador está configurada para o processo padrão de Bloqueio de árvore de expansão \ Listening \ Learning seguido de detecção de Etherchannel e Trunk. No total, eles mantêm a porta off-line por pelo menos 30 segundos depois que ela estiver on-line a partir de uma perspectiva física.
Se você tem 100% de certeza de que a porta em questão só será usada para conectar um servidor e o \ etherchannel de entroncamento não é necessário, a porta pode ser alterada para o Modo de Acesso e o STP alterado para o PortFast. Isso deve economizar pelo menos 30 segundos no tempo que você está vendo e esperaria que ele removesse todos os atrasos.
Se isto é o que está acontecendo, então ele vai ficar off-line brevemente, já que parece ser uma característica da porta IPMI do seu sistema, mas espero que isso não seja muito perturbador.