Os maiores riscos potenciais são os limalhas de ferro que encurtam um componente ou se alojam em uma peça mecânica, como um ventilador. Enquanto isso pode não ter acontecido ainda, os fãs podem movê-los, ou podem atrair campos magnéticos dentro do sistema.
Eu tentaria tirá-los o mais rápido possível. É improvável que tenha causado algum dano se você ainda não notou um problema (pelo menos, ainda), mas isso não é bom, com certeza. Eu certamente não aconselharia tê-lo ligado até que você os tenha removido.