Eu acho que isso não deve causar sérios problemas de desempenho para uso "normal", mas como já apontamos, alguns programas gráficos precisam varrer as fontes na inicialização (porque eles precisam de mais informações das fontes do que o banco de dados fontconfig) e vai começar significativamente mais devagar, é claro. Além disso, quando o fontconfig atualiza seu banco de dados (por exemplo, quando você adiciona fontes adicionais), isso pode ser mais lento também.
E encontrar uma fonte específica na lista de fontes disponíveis pode se tornar um problema de desempenho humano ...;)
Portanto, é melhor usar uma ferramenta de gerenciamento de fontes como gerenciador de fontes ou fontmatrix , para que você possa ativar / desativar fontes individuais ou grupos de fontes.
BTW, você pode contar o número de fontes atualmente instaladas usando o seguinte comando:
$ fc-list | wc -l
2083
(Essas fontes 2000+ não são um problema no meu sistema ...)