Se você estiver usando o bash, tente usar ${i%%.mp4}
.
Para o seu exemplo, seria:
for i in *.mp4;
do ffmpeg -i "${i}" -vf "movie=logo.png [watermark]; [in][watermark] overlay=10:10 [out]" -strict -2 -qscale 0 "${i%%.mp4}-watermarked.mp4";
done;
Existem muitas outras manipulações possíveis. O termo que você pode pesquisar nas páginas de manual é Expansão de Parâmetros .