Não é um risco de segurança. A única vulnerabilidade que você é ;) . Você precisa ter certeza de que sua chave privada não estará nas mãos erradas.
Todos que têm acesso ao seu sistema e têm direitos de acesso suficientes, podem copiar sua chave. O cavalo marinho não pode impedir isso também.
Criptografe suas partições e use uma senha suficientemente strong para sua conta de usuário. Bloqueie o seu sistema quando sair da sua estação de trabalho. Certifique-se de que seus backups estejam criptografados.