Eu tenho algumas observações e sugestões. Não vejo nada necessariamente errado com seus comandos, mas vamos tentar encontrar uma solução.
- Parece que você está usando o mpeg4, eu recomendo dar uma olhada na lista ESTE dos codecs VLC suportados. Eu recomendo que você tente h265 ou mp4v. Após uma inspeção mais detalhada, eu não vejo o mpeg4 na lista, então isso pode ser o seu problema.
- Qual CPU você está usando? É possível que o seu sistema não seja poderoso o suficiente para transmitir 1280x720. Você não menciona qual computador seu usando e eu só quero ter certeza que você não está tentando isso em um Raspberry Pi ou qualquer coisa.
- Tente fazer isso funcionar usando a GUI. Eu reconheço que a GUI pode não ser a solução final, mas se pudermos fazê-la funcionar lá, então sabemos que é possível e podemos continuar com os argumentos da CLI.
- Experimente outro SO e computador. Consegue fazê-lo funcionar no Windows & Linux, funciona melhor? Novamente, isso ajudará a eliminar algumas variáveis sobre onde está o problema.
- É improvável, mas é possível que seu barramento USB esteja saturado, talvez a porta seja apenas USB 1 ou você tenha um HD externo no mesmo barramento que está ocupando toda a largura de banda.
Experimente algumas das opções acima, se você descobrir quais soluções funcionaram para você. Se ainda não estiver funcionando, poste o que você descobriu.