Não, excluir o par de chaves é bom. Tudo o que você precisa fazer é excluir sua chave pública do servidor. No entanto, você não o remove com rm
; você exclui as linhas relevantes do arquivo ~/.ssh/authorized_keys
.
Primeiro, verifique se você pode fazer login com seu novo par de chaves!
Para limpeza, eu também sugiro que você remova sua chave privada da máquina do cliente, embora isso não faça diferença.