Se o VLC não o reproduzir, nada será reproduzido! (provavelmente é um arquivo corrompido)
Se você pudesse postar o arquivo em algum lugar, eu poderia dar uma olhada nele com um editor hexadecimal, ou se você quiser, você pode fazer isso você mesmo:
sudo apt-get install ghex
ghex /path/to/file
e, em seguida, comparando a primeira tela que você vê no ghex (o cabeçalho do arquivo) para outro arquivo .rmvb
.