Sua saída indica que o arquivo de entrada está sendo decodificado como RAW em vez de usar o decodificador libav, Avisynth ou ffms apropriado. Veja a página Ubuntu man
para mais detalhes. Eu acredito que a sintaxe apropriada deveria ser:
x264 --level 30 --profile baseline --bitrate 900 --keyint 30 --vf resize:720,480 -o test.mp4 video01.mp4
Se você ainda tiver erros, é possível que seu binário x264 esteja desatualizado ou não tenha sido compilado com suporte para ffms. Na página man
vinculada acima:
Infile can be raw (in which case resolution is required), [...] or Avisynth if compiled with support (no). or libav* formats if compiled with lavf support (no) or ffms support (yes).
Finalmente, de este tópico , no que diz respeito à compilação de x264 com suporte a ffms, o x264 mais recente deve ser configurável com o gerenciador de pacotes para encontrar a biblioteca ffms.