Parece improvável que um computador de 3 anos comece agora a ter problemas térmicos relacionados à pasta térmica impropriamente ou insuficientemente fornecida na CPU, pois eles teriam se manifestado muito rapidamente, ou uma GPU com falha, como teria se manifestado se de outras maneiras, em vez de desligar o computador imediatamente. Soa muito mais como um problema de fornecimento de energia. Você pode ser capaz de aliviar o problema temporariamente e diminuir o problema, diminuindo a tensão na PSU, desconectando a GPU através dos cabos PCI-E e usando o vídeo on-board (desde que você tenha um). Se ainda tem um problema, é definitivamente a fonte de alimentação. Eu percebo que você está desconectando dois componentes variáveis ao mesmo tempo, mas isso é com a especulação de que o PSU é o problema.
Como disse @Paul, sentar na bios é uma boa maneira de ver as térmicas rapidamente e fornece um estado de energia muito baixa para o computador.