Se o Silverlight não estiver instalado no seu computador, alguns sites detectam isso e oferecem streaming de vídeo em outro formato, como Flash ou Quicktime. Mas isso, claro, depende inteiramente desses sites dispostos a fazer o esforço.
A única outra solução é usar um software de player alternativo. No entanto, não vejo a diferença entre instalar o Silverlight e instalar outro software que contenha implicitamente o Silverlight.