Você pode usar opções de linha de comando, como diz o jdw, mas a opção mais segura é configurar o ssh para que ele saiba fazer isso automaticamente.
Crie ou edite seu arquivo ~ / .ssh / config e adicione o seguinte:
Host Server_A
IdentityFile ~/.ssh/server_A
Host Server_B
IdentityFile ~/.ssh/server_B
Host Server_C
IdentityFile ~/.ssh/server_C
Agora, sempre que você ssh / scp para esses servidores, ele usará a respectiva chave privada.