Qualquer pessoa com acesso físico ao computador de execução (ou hardware host) pode acessar a chave não criptografada. Caso contrário, desde que você defina as permissões de arquivo corretamente, seria necessário um comprometimento total da segurança das máquinas (execução remota de código + execução de privilégios ou similar) para ler a chave privada. Como isso seria uma coisa ruim, o armazenamento da chave privada não criptografada é bom.
Sugiro que você garanta que todas as chaves armazenadas sejam específicas do host em vez de globais ou específicas do usuário, para que, no caso de uma única máquina ser comprometida, seja fácil limitar os danos.