Seus últimos 2 pensamentos são válidos.
Eu começaria removendo tudo o que não é especificamente requerido para inicializar o sistema (por exemplo, qualquer outra placa-mãe, ram e placa gráfica) e ver se isso é inicializado. Se isso não acontecer, tente - temporariamente - usar uma fonte de alimentação antiga apenas para ver se ela é inicializada. [Não tente executar o sistema inteiro fora da fonte de alimentação antiga, a menos que tenha certeza de que ele pode lidar com a carga].
Com base no que você descreve, parece muito provável que a fonte de alimentação esteja frita.
Uma outra coisa, tente esperar cerca de 1 minuto entre desligar e ligar novamente a fonte de alimentação. Às vezes (as mais desmazeladas) demoram um pouco para descarregar totalmente e permitem que você as ligue novamente depois de ser desligado - ou pelo menos era o caso quando eu estava brincando com elas.
De memória - e eu poderia estar um pouco errado aqui - uma fonte de alimentação tem 5 volts e 12 volts, 5 volts é usado (entre outras coisas) para o modo de espera. Você precisará de 12 volts para inicializar a maioria dos PCs. [Um era vermelho, o outro amarelo, não lembra qual era qual]