Se o keylogger criptografar os dados, provavelmente a chave de criptografia será armazenada localmente. Supondo um algoritmo simétrico, se você puder encontrar a chave, poderá descriptografar o arquivo. Se o criador de logs estiver usando um algoritmo de criptografia assimétrica, descubra que a chave de criptografia não informa nada. Eu apostaria na criptografia sendo simétrica, porque assimétrico leva muito mais CPU.
Se puder, observe qual atividade do sistema acontece quando o keylogger é iniciado. No Windows, por exemplo, monitore as leituras do registro, as leituras do sistema de arquivos e assim por diante. A chave pode ser armazenada dentro do arquivo de programa, e se sim, você terá um desafio interessante para descobrir a chave. Se você quiser encontrar o invasor, deixe o criador de logs iniciar e observe o tráfego da rede. Eu aposto que não importa como o programa telefona para casa, esse telefone será algum tipo de queda anônima. Mas você nunca sabe, você pode ter sorte!