Com base em suas eliminações, é o MB ou CPU (a eletrônica de potência da CPU na maioria dos sistemas é parte do MB). Minha experiência é que, a menos que a máquina seja quase nova, você acabará substituindo os dois (junto com a RAM), então é isso que eu recomendaria.
Dado que a PSU vem sem a energia da CPU conectada, a CPU é a mais provável culpada, mas a menos que você esteja amarrado por algum motivo ao usar a mesma combinação de MB / CPU, é provavelmente mais sensato comprar uma boa negocie em um pacote MB / CPU / RAM que ofereça desempenho igual ou melhor, e poupe seu tempo de pedido e instalação de peças - o que pode danificar um ao outro se você adivinhou errado.