Is this a likely problem with my power supply?
Esse seria o lugar óbvio para começar. Mas também pode ser HDD (falha em uma parte crítica do código de inicialização) ou RAM (leva alguns segundos para se encaixar na parte ruim).
Faça um boot para entrar nas telas da BIOS e verifique se isso também falha (elimine o HDD e provavelmente também a RAM), repita após remover o máximo de hardware possível - reduzindo a carga da PSU - para verificar mais detalhadamente problemas de PSU (isto não é perfeito, diferentes trilhos de energia são dedicados, e se é o trilho da CPU com defeito você não pode facilmente reduzir a carga).