Seu comando faz exatamente o que você quer.
Verifique o que a saída de
for f in ./*.mp4; do echo "file '$PWD/$f'"; done
imprime.
Se os arquivos estiverem listados como esperado, você pode ter um problema com caracteres especiais no caminho.
Como último recurso você pode executar o comando ffmpeg com o modo de pânico -loglevel, mas cuidado, ele retorna A LOT