No momento, nenhum dos decodificadores VP8 do ffmpeg parece capaz de decodificar alfa em fluxos de vídeo VP8. Esta postagem da lista de discussão ffmpeg-user sugere que é devido ao método incomum pelo qual alpha é armazenado no fluxo.
Pode valer a pena olhar para webm-tools .