O RTMP não permite multicast nativamente e será um projeto muito doloroso implementar o multicast sozinho no lado do cliente. Mas existem duas soluções:
- Você pode tentar a solução sem servidor RTMFP multicast. Aqui está um bom exemplo explicado por Tom Krcha: link (basta adicionar um NetStream e anexar a câmera a ele),
- Caso contrário, você pode experimentar o Adobe Media Server ou o MonaServer (nosso servidor de código-fonte aberto) para usar o NetGroup e o RTMFP. Eu acho que reimplantar a parte do servidor do Bigbluebutton deve ser fácil.
EDIT: RTMFP com NetGroup é a única solução simples para ter multicast (transmissão P2P) na internet.