Os teclados de laptop são de fato mais complicados do que os regulares. Os regulares são geralmente muito fáceis de sair e empurrar de volta. Para laptops, no entanto, é diferente, já que você precisa saber como o mecanismo é feito embaixo.
Aqui você pode encontrar informações sobre como fazer isso em um laptop Dell:
http://www.wikihow.com/Pop-a-Key-Back-Onto-a-Dell-Laptop-Keyboard
Observe que o mecanismo pode ser um pouco diferente para seu próprio laptop, mas lembre-se de que ele é baseado na mesma ideia. Você tem geralmente duas partes juntas sob a chave real, e uma parte agindo como uma mola por baixo.
Saber como parece dentro pode ajudá-lo, espero. Em geral, lembre-se de que você quer estourar a parte de cima, não as duas internas, e que esta parte é normalmente colocada nos quatro cantos, como descrito no link dado. Aplique seu esforço para estourá-lo de um canto. Isso exigirá um pouco de esforço, especialmente que você tenha que tomar cuidado para não quebrar uma das partes internas.
Em geral, eu não recomendaria colocar todas as teclas do teclado para limpá-las. Faça isso para os realmente presos e pegajosos, mas não é tão trivial quanto um teclado normal, como você pode ver.