O MP4 muxer precisa da capacidade de voltar atrás em um fluxo para atualizar os metadados depois que o fluxo é gravado. Procurar para trás é impossível no stdout - ou nos tubos em geral.
Portanto, não há como canalizar um contêiner MP4 de maneira significativa. Isso não o impede de usar qualquer codec específico, como o H.264, que também é conhecido como MPEG-4 (AVC). Apenas certifique-se de usar um formato de contêiner que permita streaming, como MPEG-TS ou Matroska.
Se você estiver disposto a aceitar uma solução que não transmita verdadeiramente os quadros resultantes, mas ainda adira à sua especificação (leia FLV de recurso de URL, saída MP4 para stdout), é sempre possível tentar codificar primeiro o FLV para um arquivo temporário e, em seguida, imprime isso para stdout.