Tente desconectar tudo para o básico. desconecte tudo o resto apenas para eliminar qualquer hardware externo que esteja causando o problema.
Se você não vê nada. Há algum sinal sonoro sendo gerado ou é silencioso apenas com o ventilador girando? Se houver códigos de bipe, você poderá diagnosticar o componente com falha. Se não houver nenhum sinal sonoro, então é praticamente PSU ou Motherboard. PSU é fácil de substituir. A placa-mãe é obviamente mais uma dor.
Os capacitores são o beijo da morte para a maioria das placas-mãe, então é algo que deve ser procurado.
Segundo Qual fã fazendo barulho? Se é fã de PSU, então eu iria bancar em uma fonte de alimentação. Se é um ventilador da CPU, então você pode ter uma CPU ou placa-mãe ruim.