Você pode usar a opção IdentitiesOnly:
ssh -o "IdentitiesOnly=yes" -i <private key filename> <hostname>
Com ssh -i <private key filename>
, você pode instruir o ssh a usar uma chave privada extra para tentar a autenticação.
A documentação não está clara sobre como usar explicitamente apenas essa chave.
Tags ssh openssh private-key