Parece que a maior parte da sua pergunta foi respondida, no entanto, se a equipe do administrador desconfiar de que as chaves privadas acabam saindo do controle local, considere sshfs montar os backups remotos em uma sessão ssh .
Instale via apt no sistema de cada administrador remoto
sudo apt-get install sshfs
Assumindo que a configuração ssh dos administradores se parece com algo abaixo
# configuration for ssh login to remote server
Host Remote
Hostname Remote.web.domain
User admin
IdentityFile ~/.ssh/private.key
Então seus administradores podem usar algo como abaixo para montar
# make a mount point
mkdir -p /mnt/remote
# mount remote directory to local file system
sshfs Remote:/path/to/encrypted/dir /mnt/remote
Para desmontar após a inspeção, o administrador remoto pode usar o seguinte
fusermount -u /mnt/remote
O doce sobre o uso do sshfs é que apenas as chaves públicas para o GnuPG e o ssh são necessárias no servidor remoto, as chaves privadas relacionadas permanecem nos sistemas que o possuem. Segundo nice bit é que até ler ou acessar a maioria das informações do arquivo permanece em seu sistema de arquivos relacionado.
Se você ainda está procurando ferramentas para facilitar a criptografia automática de logs ou diretórios, pode querer verificar o prof da ferramenta conceitual que eu enviei para GitHub (especificamente Cenário Quatro escrito para sshsf usage) que com um pouco de personalização irá criptografar quase todos os dados via GnuPG. Mas esteja avisado que é experimental e alguns de seus recursos podem causar corrupção de dados, se utilizados de forma inadequada. O código fonte é menor que ~ 1600 ~ linhas, então é muito possível fazer auditoria em menos de um final de semana.
É possível obter segurança adicional configurando a configuração ssh do servidor remoto para que os usuários chroot permitam apenas o acesso ao diretório criptografado e desativem o shell interativo para as chaves de administrador usadas dessa maneira.