Uso:
-filter_complex "[0:v]setpts=PTS-STARTPTS[t1];[1:v]setpts=PTS-STARTPTS[t2];[t1][t2]hstack[out]"
O comando acima não termina com a entrada mais curta, mas irá congelar o último quadro da entrada mais curta, então você pode querer acrescentar um quadro preto no final de cada uma das entradas, e então cortar o último quadro do resultado.