A fonte de alimentação (PSU) tem capacitância. O interruptor de balancim na parte traseira desconecta a fonte de alimentação da rede elétrica, mas ainda há muita eletricidade armazenada nos capacitores para alimentar um LED por alguns segundos.
Você não especificou, mas suponho que você tenha pressionado o botão liga / desliga novamente?
Antes de trabalhar em um computador, é recomendável desligar a máquina, desligar o interruptor oscilante da fonte de alimentação e pressionar o botão liga / desliga novamente.
Isso é o que eu faço, e sempre vejo o comportamento que você está descrevendo devido à energia armazenada nos capacitores da PSU.