Isso está correto. Com uma chave privada não protegida, você precisa remover a chave pública do github e onde quer que ela esteja presente o mais rápido possível para revogar o acesso.
Como uma boa prática, porém, sempre recomendo criptografar a chave privada com uma frase secreta. Com o ssh-agent (no Linux / OSX) ou pageant (windows), há muito pouca dificuldade em usar uma chave criptografada.