Quando você configurou o emacs, ele disse algo sobre o fontconfig não ser encontrado? Você pode verificar em config.log após o fato.
Se ele disse que não conseguiu encontrar o fontconfig, tente instalar o pacote libfontconfig1-dev e executar configure novamente.