Remover a GPU e confiar na interna não pode ajudar a eliminar um problema na PSU - se a GPU estiver consumindo uma quantidade significativa de energia, ela pode estar realmente causando o problema com a PSU consumindo muita energia.
Você pode ser capaz de diagnosticar parcialmente isso fazendo testes que testam o sistema sem fazer muitos gráficos intensivos (como usar o Prime95). Se o sistema morre ou se comporta mal o problema não é a GPU.