A resposta curta é "não".
Dependendo do seu ambiente / SO / arquitetura / nível de especialização, pode ser possível usar algo como o Apparmour ou o SELinux para frustrar as tentativas de copiá-lo ou para que ele seja lido, exceto com programas específicos.
Se você precisar de uma chave privada que não possa ser (facilmente) copiada, você precisará embuti-la em silício juntamente com a lógica para fazer a descriptografia de tal forma que a chave privada nunca seja exposta - e mesmo assim ela pode ser copiada se alguém é habilidoso o suficiente e tem acesso ao silício e a alguns hardwares muito especializados (é assim que alguns sistemas de TV por assinatura foram hackeados).