Deve funcionar bem. O arquivo de todo o sistema que causa sua configuração por usuário está em /etc/fonts/conf.d/50-user.conf (na verdade, é um link simbólico para um arquivo em conf.avail , mas é sua presença em conf.d que faz com que funcione aqui). Você tem esse arquivo?
Se você estiver usando o 12.10, verá que os ~/.fonts.conf* locais estão obsoletos, o que significa que o suporte para eles será removido em uma versão futura, portanto, você não deve colocar sua configuração lá. Coloque em $XDG_CONFIG_HOME/fontconfig/fonts.conf . No Ubuntu por padrão $XDG_CONFIG_HOME é ~/.config , então se você não mudou isso (o que você provavelmente não tem) o local para você colocar sua personalização por usuário é ~/.config/fontconfig/fonts.conf .
Ao usar o 12.04, no entanto, ~/.fonts.conf é o local correto, pois você verá que 50-user.conf não possui as outras entradas. Você deve tentar se lembrar de mover sua configuração para o novo local, se você atualizar para o 12.10, mas ele deve continuar trabalhando para este release, pelo menos.
Dê uma chance e deixe-me saber como você se sai.