Como afirmado na pergunta, adicionei latency_msec=1000
a module-rtp-recv em cada receptor e isso não resolveu o problema. Desde então, mudei para latency_msec=4000
e isso resolveu o problema. Eu não tentei valores intermediários.
Eu considero isso apenas meia resposta. Eu ainda gostaria de ajustar outros parâmetros, como taxa e formato, mas até agora eu encontrei as instruções corretas para fazê-lo. Se alguém aparecer com uma resposta melhor, eu aceito a sua. Por enquanto, esta é a melhor resposta que eu obtive através de tentativa e erro; foi o suficiente para tornar a experiência musical significativamente melhor.