O que estou vendo ( link ) diz que os arquivos no formato RAR3 usam AES para o algoritmo de criptografia. Não está claro para mim, à primeira vista, se o formato de arquivo RAR3 é publicado ou se há implementações de código aberto do algoritmo de descriptografia / descompactação. Se o formato não for publicado ou não houver implementações gratuitas do algoritmo de descriptografia / descompactação, acho que ficaria muito cauteloso com a "segurança", já que há sempre a possibilidade de truques como colocar um texto simples conhecido no cabeçalho de cada arquivo criptografado, vazando bits da chave, etc poderia estar em jogo.
Os formatos RAR mais antigos usavam um "algoritmo de criptografia proprietário". Você deve sempre ser MUITO cauteloso com programas que usam "algoritmos de criptografia proprietários". A frase "algoritmo proprietário de criptografia" é muitas vezes o código para "algo bateu em um porão por um codificador que realmente não sabe muito sobre criptografia", ou mais vagamente como "não foi revisado por pares".
Editar: estou vendo o que parecem ser implementações gratuitas de pelo menos a parte de descompressão do RAR3 ( link , por exemplo). Enquanto o formato do arquivo estiver aberto, será difícil que uma grande quantidade de bits da sua chave seja vazada por uma implementação não confiável. Ainda assim, eu me sentiria melhor com algo que foi revisado por pares ou certificado (FIPS, etc.).