Eu principalmente uso toalhetes de álcool ao limpar o passado térmico da CPU e do cooler.
Não se preocupe com o pequeno buraco na CPU, tudo bem se a pasta térmica chegar lá, mas se você quiser removê-lo, sugiro usar um alfinete de cabelo pequeno ou algo semelhante para tirá-lo.
Aqui estão alguns links para outros sites Link1 | Link2 com semelhante perguntas se você ainda está preocupado.