Com base na minha experiência com o Handbrake no Windows e Linux: ele não usa o mencoder. Em vez disso, ele oferece sua própria interface de linha de comando: HandBrakeCLI .
No Windows, pode-se clicar em Show Queue
> Queue
> Generate Batch Script
para exportar um script que contenha todos os parâmetros da linha de comando passados para o HandBrakeCLI. Embora sua referência à "Janela de atividades" me faça acreditar que você está usando o Mac OS X, essa opção também pode existir na versão para Mac.