Você sempre pode. Acho que C terá sua chave pública (fora) e, se A e B estiverem dentro de uma rede local (ou seja: sua rede doméstica), você não estará fazendo algo arriscado compartilhando, a menos que você use a Internet para enviar xD não criptografado. Se A e B são máquinas que você possui e você pode ter certeza de que ninguém pode ler sua chave privada, então você pode compartilhar uma chave privada sem nenhum risco.
O problema é que sua chave privada nunca deve ser comprometida. Certifique-se de ter um certificado de revogação gerado e impresso e a chave pública em um servidor de chaves, para que qualquer pessoa possa atualizá-lo para ver novas assinaturas e revogar certificados.
Vou dar um exemplo. Eu tenho uma conta no GitHub, e eu a acesso do SSH das minhas máquinas em casa. Eu tenho mais de uma máquina e mais de um sistema operacional dentro de cada máquina, mas eu uso apenas uma chave para o GitHub. Por quê? Bem ... eu tenho a minha chave em drives pessoais criptografados. Ninguém pode ver minha chave privada, não importa quantas cópias eu tenha.
Espero que seja útil Felicidades