O problema com a associação de fluxos de mms é que eles não são, no sentido tradicional, arquivos que possuem uma extensão e, portanto, você não encontrará algo com o qual se associar. Esses fluxos são, na verdade, um URL. Por exemplo:
mms://a1729.l2168647534.c21686.g.lm.akamaistream.net/D/1729/21686/v0001/reflector:53822
No registro, você pode encontrar o seguinte:
HKEY_LOCAL_MACHINE\SOFTWARE\Classes\WMP11.AssocProtocol.MMS - URL:mms Protocol
Existe uma subchave abaixo desse nível que usa um shell cpommand aberto, você poderia, se ainda não o fez, tentar alterar o manipulador padrão no local.
Para abrir um fluxo mms em vlc, você pode selecionar, na barra de ferramentas, Mídia / Abrir fluxo de rede e colar uma URL, como a acima, diretamente.
Se você quiser sempre que a vlc abra um fluxo de dentro do seu navegador, isso dependerá do navegador que você usa. Se você estiver usando a versão do instalador do vlc, ele deverá adicionar os plug-ins para navegadores como o firefox e os controles activex para o IE.
se os plug-ins tiverem sido adicionados corretamente, na primeira vez que você abrir um feed mms, receberá um aviso:
Se você tiver a versão 'zip' da vlc, precisará fazer as coisas manualmente. veja o readme.txt na pasta activex no diretório vlc descompactado.