Keyloggers geralmente instalam no sistema operacional no meio do fluxo onde a tecla é pressionada e a ação que o sistema operacional faz com esse toque de tecla.
Existem algumas maneiras de tentar bater um keylogger, mas elas não vencem todas. Alguns sites de home banking usam um teclado de software para inserir sua senha, essa entrada não é detectada por um keylogger.
Outra maneira é usar software especialmente projetado para detectar qual software tem um gancho de teclado (isso significa software que ouve todos os eventos de teclado no Windows), mas eu não sei de nenhum exemplo.