Eu achei o pacote 'font-manager' útil para desabilitar (sem remover) essas fontes internacionais. Isso parece desabilitar somente a fonte do usuário atual, deixando-os na lista para outras contas.
Para facilitar as coisas:
sudo aptitude install font-manager
Atualização e detalhes adicionais para 14.04:
sudo apt-get install font-manager
funciona. Note que a partir do início de 14.04, se você for ao Ubuntu Software Center e procurar pelo pacote font-manager, ele dará uma mensagem sobre dependências não resolvidas devido ao gerenciador de fontes que requer versões inferiores de alguns pacotes dependentes das versões instaladas no 14.04. Não tenha medo, apenas use o apt-get.