Você está supondo que o roteador antigo falhou devido ao superaquecimento. A menos que você tenha uma prova significativa de que é isso que causou, você pode se preocupar com nada.
Os roteadores de consumidores são projetados para resistir a determinadas temperaturas de operação (já que você não forneceu informações específicas sobre o modelo, eu não consegui procurar as temperaturas de operação) . Eles normalmente não têm ventiladores porque não geram muito calor e são projetados para liberar passivamente o calor através dos dissipadores de calor embutidos.
Usar um ventilador pequeno para criar um pouco de fluxo de ar não afetará o roteador e lhe dará alguma tranquilidade. O único problema, você pode precisar explodir a poeira do roteador ocasionalmente devido ao fluxo de ar introduzido.