Não use criptografia caseira para qualquer coisa remotamente séria. O risco é muito grande.
Eu escrevi um algoritmo personalizado usando a API crypto do kernel (modificando os algoritmos SHA1 e DES existentes), compilando e adicionando o objeto .KO ao kernel.
Como posso usar meu algoritmo em ipsec e outros aplicativos que usam comunicação criptográfica?
Não use criptografia caseira para qualquer coisa remotamente séria. O risco é muito grande.
O Strongswan é geralmente considerado o conjunto IPSec de escolha (para VPNs) no Linux. É isso que você está procurando?