Sempre que você receber mensagens sobre pacotes ausentes (ou sugestões para modificar seu PKG_CONFIG_PATH ) durante uma compilação, isso geralmente indica que você está perdendo o pacote desenvolvimento correspondente - que é tipicamente separado do tempo de execução pacote que normalmente é instalado no sistema.
Nesse caso, você tem a versão mais recente de fontconfig , mas provavelmente está faltando o pacote libfontconfig1-dev correspondente.