Parece que o Gnome cria um arquivo de configuração chamado .gtkrc-2.0 em seu diretório pessoal para definir a fonte por usuário. O Unity parece usar este arquivo também e acaba usando a fonte padrão do Gnome mesmo depois que o Gnome foi desinstalado. A exclusão deste arquivo parece corrigir o problema:
rm ~/.gtkrc-2.0