Acho que você está procurando Segurança da Camada de Transporte do Datagrama . É essencialmente SSL / TLS, mas ligeiramente modificado para funcionar em UDP. Isso é basicamente a mesma coisa que o OpenVPN usa para sua criptografia, exceto que o OpenVPN é anterior ao DTLS, então os detalhes da implementação são provavelmente um pouco diferentes, mas não tão drasticamente.
Felizmente versões mais recentes de produtos como o OpenSSL já suportam DTLS, então o trabalho foi feito para você.