Eu tenho dois fãs no meu computador, um para o processador e outro para o PSU. Para mim, o fã do PSU é o mais insignificante, e faz o tipo de coisa que você descreveu.
A primeira coisa que você deve fazer é: parar de usar o computador. Sério. Você pode explodir sua PSU (se for a ventoinha da PSU) ou fritar seu processador, embora a BIOS / UEFI e até o próprio processador possam ser desligados.
A segunda coisa que você deve fazer é: se for barulho, vem de algum lugar. Simplesmente coloque o ouvido ao lado do ventilador (não nele, você não quer chocar ou cortar o seu ouvido) e escute. Você pode colocar uma tampa de caneta ou seu dedo no centro da ventoinha da CPU e ver se o ruído pára.
Para a correção: se o problema estava na CPU ou na ventoinha do sistema, você pode resolvê-lo com uma gota de óleo de máquina no eixo, com a parte oculta por um pedaço de papel na parte inferior do ventilador. Se o problema for com a ventoinha da PSU, você terá que separar a PSU, então você fará a mesma coisa que faria pela CPU ou pelo ventilador do sistema.
E certifique-se de que você pode fazer essas coisas :) Eu escrevi o que funciona para mim, pode não funcionar para você.