Se eles obtiverem uma cópia de sua chave privada, eles poderão descriptografar arquivos destinados a você (arquivos criptografados com sua chave pública).
Então, se eles invadirem seu sistema de alguma forma e obterem sua chave privada, você perderá a segurança.
Esse é o motivo de uma frase secreta, por isso, mesmo que recebam o arquivo da chave privada, não poderão usá-lo porque não têm a frase secreta.