Quando você configurou o emacs, ele disse algo sobre o fontconfig não ser encontrado? Você pode verificar em config.log
após o fato.
Se ele disse que não conseguiu encontrar o fontconfig, tente instalar o pacote libfontconfig1-dev
e executar configure
novamente.