Eu nunca usei o RTP, mas o AFAIU, você deve aumentar o buffer / latência no lado da recevagem no nível RTP: o RTP tem um pacote de timestamp que pode ser usado para reordenar os pacotes.
Se você perdeu pacotes, isso não ajudará você.
Se você tentar resolver o problema enfocrendo a ordenação de pacotes / datagramas em um nível inferior na pilha de protocolos (por exemplo, usando o TCP para transportar o RDP da VPN), você sofrerá de HOL bloqueando : em vez de perder a parte do fluxo quando os pacotes são descartados, o lado receptor terá que esperar que os pacotes ser retransmitido e chegar (ou seja, o fluxo fará uma pausa).
Veja Bloqueio de Cabeça de Linha nos Protocolos de Transporte .