Eu sofri desse problema antes. Era uma questão de poder , não uma questão de fornecimento de energia. No meu caso, a minha conexão de internet por cabo coaxial precisava de um amplificador para funcionar corretamente (ao contrário de conectá-lo diretamente ao modem, um amplificador era colocado entre o modem e a tomada de parede). Na época, eu morava em uma parte um pouco rural da América. Esta amplificação, uma vez instalada, depois fritou qualquer fonte de alimentação que eu havia colocado no meu PC de mesa. E sim, a sala se encheria de um leve cheiro de queimado antes que a fonte de alimentação morresse mais tarde. Você está recebendo uma tensão muito alta da tomada da parede ou do conector Ethernet. Áreas rurais e áreas com pouco trabalho elétrico são propensas a isso.
Quanto à remoção da GPU ... A GPU, especialmente aquelas projetadas para jogos, exigem muita energia. Ao remover isso, você está colocando menos pressão na fonte de alimentação. Portanto, o problema pode não ter nada com a GPU diretamente. Meu palpite é que isso está apenas atrasando o problema, já que sua PSU mais danificada acabará morrendo completamente.