Ok, então eu tive que especificar a chave que eu quero usar com '-i'
por exemplo.
ssh -i ~/.ssh/mykey [email protected]
EDIT: Você também pode adicionar um arquivo de configuração em ~/.ssh/config
e adicionar o seguinte código
host *
IdentityFile ~/.ssh/mykey
você não precisa usar o parâmetro -i ...