Quando você usa os argumentos -f caca - , está dizendo ao ffmpeg para converter os quadros de um vídeo em uma aproximação de texto da imagem e, em seguida, escreve o texto na tela via stdout. O texto de saída não está em um formato de vídeo, é um texto que seu terminal ou console pode entender.
Seria como se você usasse texto para fala para converter uma frase em um arquivo de áudio e, em seguida, tentasse usar esse arquivo de áudio e enviá-lo para um arquivo de texto. Para fazer o que você está tentando fazer, você precisa considerar o fato de que a saída de texto precisa ser renderizada em um terminal (ou algo parecido com um terminal) e depois recapturada.
Felizmente, existem várias rotas para fazer o que você está tentando fazer. Eu começaria aqui: link
Essa página contém um script em que o ffmpeg é usado para gerar quadros de um filme para arquivos de imagem, então os arquivos de imagem são convertidos em um arquivo HTML (o arquivo HTML ficaria muito parecido com a saída da libcaca). usando img2txt , esses arquivos HTML são renderizados para arquivos de imagem com webkit2png e, finalmente, os arquivos de imagem são recombinados em um filme usando mencoder .
Uma rota alternativa seria usar o VLC para renderizar o vídeo usando libcaca ( vlc --vout caca final3.mp4 e capturar a saída resultante usando uma ferramenta de captura de desktop padrão (como o QuickTime Screen Recording, se você estiver usando um Mac).