Acabei de encontrar mensagens de erro semelhantes. Eu finalmente percebi isso. Houve dois problemas.
Questão 1:
Ao fazer
ffmpeg -f concat -i <path_to_text_file> ...
o path_to_text_file
deve usar barras, não barras invertidas, mesmo no Windows. Esta regra não parece se aplicar aos caminhos dos arquivos de vídeo na linha de comando - apenas para o caminho do arquivo de texto na linha de comando.
Questão 2:
Os caminhos listados em seu arquivo de texto são interpretados pelo ffmpeg como sendo relativos ao local do seu arquivo de texto. (Em particular, os caminhos listados não são relativos ao diretório de trabalho atual.)
Assim, por exemplo, se os arquivos de vídeo que você está tentando concatenar juntos estiverem no mesmo diretório que seu arquivo de texto (mas diferente do diretório de trabalho atual), os caminhos listados em seu arquivo de texto devem ser simplesmente nomes de arquivos de vídeo sem nenhum diretório anterior.
Espero que isso ajude alguém no futuro.