matplotlib sempre usa seu próprio conjunto de fontes, independentemente de outras fontes instaladas no sistema.
No Ubuntu 12.04 LTS, essas fontes estão localizadas em /usr/share/matplotlib/mpl-data/fonts/ .
Ao chamar uma fonte em seu código que não está disponível neste diretório, matplotlib tentará primeiro retornar ao Bitstream Vera Sans. No entanto, nem essa fonte está disponível em .../mpl-data/fonts/ nas instalações do Ubuntu 12.04 LTS. Finalmente, matplotlib volta para a fonte cmb10.ttf , que está disponível.
A instalação dos pacotes de fontes do sistema, conforme sugerido acima, não corrigirá esse aviso.
Pode-se, no entanto, adicionar rcParams['mathtext.fontset'] = 'cm' ao código para evitar os múltiplos fallbacks e avisos.
Como alternativa, especifique uma fonte que esteja presente em /usr/share/matplotlib/mpl-data/fonts/ .