Parece que o problema é devido à compilação estática que estou usando e que, como resultado disso, preciso definir algumas variáveis de ambiente e ter um arquivo fonts.conf. O lugar que recebi minha resposta foi:
link
O fonts.conf também pode ser encontrado lá.
Eu configurei as variáveis de ambiente para:
FC_CONFIG_DIR=C:\Program Files\ffmpeg
FONTCONFIG_FILE=fonts.conf
FONTCONFIG_PATH=C:\Program Files\ffmpeg
... no qual eu basicamente salvei o fonts.conf na raiz da pasta ffmpeg e criei novas variáveis.