Eu pessoalmente usaria um servidor Icecast e o alimentaria da avconv. Mas, novamente, sou meio tendencioso como o mantenedor do Icecast.
Ele resolveria o problema de um arquivo crescente, pois o Icecast só mantém um buffer pequeno (configurável) na memória e, por padrão, não grava em nenhum arquivo. Observe também que você deve manter o intervalo do quadro-chave razoavelmente curto. Em seguida, os navegadores não devem ter problemas para bloquear o quadro-chave mais próximo nos dados iniciais.
Eu também usaria o WebM e não o h.264, mas essa é a minha preferência por codecs não proprietários. No caso do WebM, eu manteria a proporção de quadros-chave abaixo de 1: 10-1: 15.
Dito isto, HLS ou DASH podem ser alternativas a serem exploradas. O Avconv tem uma espécie de modo de saída HLS, mas provavelmente precisa de alguns scripts adicionais em torno dele para limpar partes desatualizadas.