Se eu puder lhe dar algum conselho, é para deixar de desperdiçar seu tempo limpando. Faça uma imagem do SO para material forense para mais tarde e simplesmente reinstale o servidor.
Desculpe, mas é a única forma segura de se resolver de ser rootkitted.
Mais tarde, você pode verificar a imagem, por alguns motivos, por que isso aconteceu.
De minha experiência pessoal, eu fiz isso e, mais tarde, encontrei um usuário interno que tinha uma chave SSH contendo a falha do openssl em 2008.
Eu espero, isso esclarece as coisas.
Nota:
Se você estiver indo para a imagem / backup do servidor antes de reinstalar, seja muito cuidado, como você faz isso. Como disse @dfranke, inicialize de um meio confiável para fazer o backup.
Você não deve se conectar a outras máquinas a partir de um servidor com raiz, pois sabe-se que grandes rootkits podem se espalhar por meio de sessões confiáveis, como o SSH.