Dê uma olhada em /etc/fonts/conf.avail e /etc/fonts/conf.d . Eu me deparei com essa pergunta porque tive o mesmo problema. Finalmente
FC_DEBUG=1024 fc-cache 2>&1|less
não disse nada de útil. Então eu corri o seguinte comando procurando por arquivos de configuração ausentes.
FC_DEBUG=1024 strace fc-cache 2>&1|less
Descobrimos que o arquivo de configuração do pacote fonts-guru-extra estava bagunçado. Ele foi armazenado como /etc/fonts/conf.avail/65-0-fonts-guru-extra.conf/65-0-fonts-guru-extra.conf e o link simbólico de /etc/fonts/conf.avail/65-0-fonts-guru-extra.conf foi quebrado de alguma forma. Pelo menos não era um arquivo.
Então corri dpkg --force-depends --purge fonts-guru-extra e o dpkg reclamou de um diretório não vazio /etc/fonts/conf.avail/65-0-fonts-guru-extra.conf
Eu deletei este diretório manualmente e corri
apt-get install fonts-guru-extra
e depois a mensagem de erro desapareceu.