Sim, existem muitos, eu uso o kit Cisco CDE ( Clicky ).
Sou um sujeito de VoD, há tantas perguntas que você precisa fazer a si mesmo antes de escolher uma tecnologia de streaming - o primeiro ser sabe o que é seu software / codec cliente, e o segundo é se você precisa de QoS ou não. Você está planejando cobrar pelo conteúdo ou tudo estará livre?
Quanto ao Youtube, bem, é principalmente uma combinação de código-fonte aberto em um kit de commodity com uma pitada de código autodesenvolvido.