Eu uso o True Crypt para criptografar arquivos confidenciais. Depois de criar um volume criptografado, você pode montá-lo e gravar arquivos nele, como qualquer outro disco. Em seguida, desmonte-o, comprima se desejar e faça o backup. Isso ajuda se você não tiver uma quantidade enorme de dados para criptografar (meu volume é de apenas 100 MB, o que é muito gerenciável, e eu uso apenas cerca de 5% disso no momento).
Para o controle de versão, uso o subversion. Eu não sei se você está procurando algum tipo de sistema de arquivos de versionamento, mas acredito que eles também existam (não usei nenhum). Eu uso o subversion no meu volume TrueCrypt para manter versões de documentos financeiros.