A primeira coisa que eu tentaria é despejar os símbolos no executável do aplicativo e procurar por palavras prováveis como "criptografar", "AES", etc. Dada sua descrição, eles poderiam ter recorrido à ofuscação, que pelo design faz sua tarefa muito mais difícil. Pior vem para o pior, eles foram estúpidos o suficiente para projetar seu próprio algoritmo criptográfico!
Observe que, mesmo que você possa determinar o algoritmo, isso pode não ser suficiente. Muitos algoritmos de criptografia simétrica usam um vetor de inicialização , e a maneira pela qual o IV é escolhido não é padrão.
Se as maneiras simples de fazer engenharia reversa do aplicativo não funcionarem, pode ser mais fácil enganar o aplicativo para não executar a criptografia conectando-se a ele e ignorando o código de criptografia. Em outras palavras, se você não encontrar um método mais simples do que localizar a parte do aplicativo que executa a criptografia, provavelmente será mais fácil ignorar essa parte do que compreendê-la.