Não há receita geral. Se o seu sistema foi infectado por um trojan desconhecido, tudo o que você pode fazer é reinstalar.
Se você sabe que o trojan opera de certa forma - por exemplo, você sabe que o trojan não infecta o kernel - pode haver uma maneira menos difícil de se recuperar. Mas isso depende inteiramente de saber como o trojan se comporta. Se tudo que você tem são os sintomas (como seu computador enviando spam sem o seu consentimento), não há uma técnica geral: o detector de trojan tem que ser mais esperto que o designer de trojan (e sortudo). No que diz respeito aos trojans, a detecção e a ocultação são como armas e armaduras: há uma escalada tecnológica e nenhuma das partes tem uma vantagem intrínseca (embora os hiders tenham uma vantagem inicial).
Muitos sistemas possuem um canal de distribuição seguro. Por exemplo, quando você instala um pacote dos repositórios do Ubuntu com as ferramentas baseadas no apt (apt-get, aptitude, synaptic, centro de software,…), a ferramenta verifica se o pacote está assinado (vetado) por alguém que o Ubuntu confie. (A maioria das distribuições tem um mecanismo semelhante.) Quando você instala um pacote de um PPA, tudo o que você pode saber é que o proprietário do PPA examinou o pacote, o que não ajuda se você não tiver motivos para confiar no proprietário do PPA.
Sobre trojans e backdoors, recomendo vivamente a leitura da palestra do prêmio Turing de Ken Thompson , Reflexões sobre confiança de confiança . Para resumir, ele alterou o compilador para que, ao compilar o programa de login, ele adicionasse um código que permitisse que ele efetuasse login com uma senha secreta; então ele alterou o compilador para que, quando compilado, ele inserisse o código para adicionar o backdoor; então ele recompilou todo o sistema (em particular o programa de login e o compilador); finalmente ele restaurou a fonte do compilador para a fonte original e inquestionável. Mais uma vez, leia o artigo de Ken Thompson ; então você também pode ler o contraponto de David Wheeler , talvez melhor apreendido através de Bruce Schneier blog artigo .