Se você realmente quiser saber mais sobre o design da RTP, recomendo ler o livro RTP da Perkins e as FAQ do RTP .
Alguns comentários: O RTP foi concebido com muita flexibilidade em mente e atende a muitos casos de uso, por ex. multicast. No seu exemplo, as portas de origem e de destino do RTP são as mesmas, isso geralmente não é o caso, leia o FAQ para obter uma explicação.
Observe que, mesmo que um participante envie áudio e vídeo, eles serão enviados em sessões RTP separadas (leia novamente o FAQ).