Como eu disse no meu comentário, Media - > Stream é o que você quer. As capturas de tela do Mac OSX são semelhantes a uma versão anterior dessa interface do usuário na interface do QT; ela foi alterada significativamente nas versões 2.x. Tecnicamente, você não precisa fazer nada especial para fazer o envio de multicast UDP, basta enviá-lo para um endereço multicast válido. Então, basta acessar o assistente de streaming, selecionar seu vídeo de origem e, quando chegar à etapa "Configuração de destino", selecione "UDP (herdado)" e clique em "Adicionar".
Depoisdeclicarem"Adicionar", você é levado para a tela de configuração do UDP, onde você pode configurar o endereço multicast e a porta.
Depois disso, selecione seus codecs e comece a transmitir.