Eu duvido que seja o USB que está extraindo todo o seu poder. A maioria das placas-mãe não pode produzir mais de 2,5 watts de energia por USB. É mais provável que seja a sua fonte de alimentação.
É muito difícil testar a fonte de alimentação sem outras ferramentas além de anexar uma parte por vez e ver em que ponto ela é distribuída. Algumas fontes de alimentação de backup exibirão quanto de potência está sendo puxada.
Honestamente, gostaria de obter uma nova fonte de alimentação.
Editar: Você também pode tentar a fonte de alimentação com outro computador com um consumo de energia que esteja dentro do alcance da fonte de alimentação. Isso poderia eliminar a questão de saber se é um problema com a fonte de alimentação ou placa-mãe.