No Handbrake 0.1, se você observar as ferramentas > Registro de atividades > Registro de codificação, que deve fornecer os detalhes que o aplicativo usa para realmente realizar a transcodificação via linha de comando. Você teria que entender o que cada parâmetro faz no Handbrake, depois usar o equivalente FFMPEG.