Mude a PSU se você puder - se tiver uma sobressalente, perfeita.
Eu tive exatamente o mesmo problema e acabou sendo uma PSU ruim. PSU nem sempre morrem completamente. Os sintomas no meu computador começaram com reinicializações aleatórias. Em seguida, o computador, por vezes, ficava preso durante a inicialização e, eventualmente, não conseguiu ligar em tudo. O LED na placa-mãe ainda estava ligado, então fiquei perplexo com o que era. Eu troquei o PSU (em um palpite) e tudo está bem desde (6 meses depois).
Se você estiver trocando a PSU, verifique se ela é poderosa o suficiente para lidar com qualquer componente que você tenha no computador. Você pode ter uma boa ideia do que precisa com essa ferramenta aqui .