Isso depende muito de dois fatores:
1. O ventilador.
Quanta corrente irá (tentar) desenhar? Dependendo de quantos watts o ventilador é classificado, o dreno de corrente não precisa ser muito.
2. A porta USB
Uma porta USB3.0, se a minha memória me serve corretamente, tem uma saída máxima de 900mA. USB2.0 tem 500mA.
Com base nos dois acima, vamos supor que um ventilador extraia a corrente máxima permitida de uma porta USB3: 900mA x 5V = 4,5W , que é o que eu consideraria "não muito ".