A maioria dos programas modernos usa o fontconfig para acessar todos os tipos de fontes para que você não veja o antigo especificadores de fontes no estilo como -xos4-terminus-medium-r-normal--12-120-72-72-c-60-iso10646-1
mais.
O Fontconfig prefere fontes instaladas em ~/.fonts/
sobre as instaladas em todo o sistema com o mesmo nome. Então, no seu caso, o fontconfig usou a versão TrueType do Terminus em ~/.fonts
. Quando você removeu a fonte TrueType, o fontconfig usou a fonte Terminus instalada em todo o sistema a partir do pacote xfonts-terminus
.