Você pode registrar um URI no Mac OS X adicionando ao seu info.plist.
Veja um exemplo:
<key>CFBundleURLTypes</key>
<array>
<dict>
<key>CFBundleURLName</key>
<string>com.test.m3u8</string>
<key>CFBundleURLSchemes</key>
<array>
<string>m3u8</string>
</array>
</dict>
</array>
Isso tudo está assumindo que o aplicativo implementou o método application: handleOpenURL.