Não coloque as chaves privadas no sistema. Os usuários podem usar, por exemplo, o encaminhamento do SSH Agent e manter as chaves em suas estações de trabalho. Ou use um módulo de segurança de hardware (HSM), como um cartão inteligente (em que o hardware se recusa a permitir a cópia das chaves). Ambos impedem que qualquer coisa no sistema (incluindo root) copie as chaves, mas o root pode usá-las quando o HSM está conectado. É claro, você pode obter um HSM com autenticação secundária para ajudar (por exemplo, para inserir um PIN - por meio de um teclado no próprio HSM - sempre que a chave for usada).
Sem o SELinux ou similar, o root pode fazer qualquer coisa no sistema - ler / escrever qualquer arquivo, descarregar a memória de qualquer processo, etc.