Experimente o mplayer, geralmente é o reprodutor de áudio e vídeo que suporta a maior variedade de formatos.
Se você tiver uma fonte supostamente RTSP, que na verdade é uma URL HTTP, primeiro recupere o conteúdo da URL; você obterá um arquivo contendo apenas outro URL, desta vez rtsp:// (às vezes você recebe outro URL HTTP que também precisa seguir). Passe a URL rtsp:// para o mplayer em sua linha de comando.
Existem servidores lá fora (e, pelo que sei, dispositivos de hardware também) que veiculam arquivos que contêm uma URL rtsp:// sobre HTTP, mas exibem conteúdo na MMS protocol¹. Isso é para compatibilidade com alguns players antigos da Microsoft (minha memória é nebulosa sobre os detalhes), mas isso quebra os clientes que acreditam que o RTSP é RTSP e o MMS é MMS. Se você obtiver uma URL rtsp:// que não funciona, tente substituir o esquema por mms:// .
¹ Nenhuma relação com Serviço de Mensagens Multimídia a.k.a. video SMS.