Depois de muita investigação, parece que tenho duas opções:
1) Executando o aplicativo genérico diretamente nele. Você pode ssh para o coprocessador e faça o que você precisar em seu Linux interno. 2) Usando tecnologias de distribuição de computação como MPI, OpenMP ou NUMA.
Mas, por enquanto, o ffmpeg não aproveita MPI, OpenMP e NUMA.