Você precisa excluir seu local libgmp completamente:
rm /usr/local/lib/libgmp.so*
Não é necessário executar ldconfig posteriormente. ldconfig garante que os links simbólicos apropriados estejam presentes; libgmp.so.10 é um link simbólico para a biblioteca mais recente com esse soname (execute ls -l /usr/local/lib/libgmp.so* antes de excluir os arquivos para ver o que quero dizer). Anteriormente, você excluiu esse link simbólico, mas a execução de ldconfig o restaurou ...