Eu fiz um cat de /etc/fonts/fonts.conf e notei que ele não contém:
<!--
Load per-user customization file, but don't complain
if it doesn't exist
-->
<include ignore_missing="yes" prefix="xdg">fontconfig/fonts.conf</include>
Meu palpite é que você precisa adicionar isso, um pouco preocupante, já que o arquivo pode ser sobrescrito, aparentemente. Não tenho certeza se existe uma maneira de gerá-lo com essa configuração por padrão.