você define o "ícone padrão" como chave, mas deve ser apenas uma string. Essa é a única diferença que vejo. Anexou uma versão funcional da minha configuração (conecte o rtsp com o vlc).
kr stefan
Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOT\rtsp]
"URL Protocol"=""
@="URL:Rtsp Streaming Protocol"
"DefaultIcon"="\"C:\Program Files (x86)\VideoLAN\VLC\vlc.exe\",1"
[HKEY_CLASSES_ROOT\rtsp\shell]
[HKEY_CLASSES_ROOT\rtsp\shell\open]
[HKEY_CLASSES_ROOT\rtsp\shell\open\command]
@="\"C:\Program Files (x86)\VideoLAN\VLC\vlc.exe\" \"%1\""