O mais provável é que o streaming consuma a maior parte / toda a sua largura de banda e o faça de maneira "espinhosa". A solução é implementar o QoS no seu link - exatamente como você faz isso depende do seu link, mas pode estar limitando o tráfego para determinados servidores usarem X% da sua largura de banda.
Infelizmente, implementar a modelagem de tráfego no Linux não é trivial. Google "modelagem de tráfego" para alguns guias / receitas. Geralmente envolve várias linhas de scripts personalizados.