Apenas para garantir que alguém que tenha o mesmo problema possa descobrir o que há de errado com seu PC.
Antes de fazer qualquer coisa, desconecte a PSU do soquete e gire o botão de retorno para desligado. Remova todos os cabos de energia dos componentes do PC, GPU, CPU, MB, etc.
Agora olhe para o seu cabo de alimentação da placa-mãe, curto o fio verde com um dos fios pretos. Se você tiver uma PSU modular, certifique-se de conectar também o cabo de alimentação MB à parte traseira da PSU. Agora conecte a sua PSU e vire a chave de volta para 1. Se nada acontecer e a PSU não fizer nada e o ventilador não estiver girando, parabéns, você tem uma PSU ruim. Mesmo se a sua PSU passar no teste, não há garantia de que ela realmente vai lidar com a carga quando estiver conectada a outros componentes.
Meu problema era exatamente o mesmo. Um PSU com defeito. Tudo o que posso dizer é que nunca mais vou comprar a XFX. Eu substituí-lo por um coolermaster por agora, mas vou corrigi-lo e postar algumas fotos de componentes defeituosos que foram a causa, talvez seria de alguma ajuda para alguém no futuro, enfrentando o mesmo problema.