O Icecast não é a resposta. Não foi projetado para latência muito baixa. Você pode reduzir os atrasos para menos de 1 segundo, mas não é consistente em vários clientes. Então, se você tiver mais de um jogador conectado, eles começarão a se afastar. Para casos de uso como você implica que uma constante (às vezes até ajustável) sub 100ms de latência é fundamental.
Uma abordagem com maior probabilidade de sucesso é o software VoIP ou servidores de áudio transparentes de rede como o Jack ou o PulseAudio.