Vale a pena verificar se o seu BIOS tem opções para desligar o PC com base na temperatura da CPU. Isso significa que, se você decidir rodar sem o exaustor, o seu PC se desligará se as coisas ficarem quentes demais, evitando danos aos componentes.
E, em resposta ao seu comentário entre colchetes, eu diria que vale a pena procurar a substituição do ventilador do gabinete. A diferença de ruído entre componentes de estoque e substituições de terceiros que custam apenas alguns dólares pode ser enorme. Outra opção seria um controlador de velocidade do ventilador para que você possa diminuir a velocidade do ventilador do gabinete para que fique muito mais silencioso, mas ainda forneça um pouco de fluxo de ar.