Normalmente, a remoção da chave do cliente deve ser suficiente para negar o acesso, mas pode haver configurações em que isso seja insuficiente.
Para testá-lo com facilidade, você pode criar um novo cliente e ter certeza de poder se conectar a ele. Depois, remova a chave do novo cliente e tente conectar novamente. Se você não conseguir, minha suposição seria que remover a chave é suficiente.
A longo prazo, você provavelmente deve gastar algum tempo para documentar o sistema atual e descobrir como ele é configurado.