Você deve ser capaz de limitar o uso das linhas IdentityFile ao seu host EC2 com a instrução host :
Host YourEC2host.com
IdentityFile ~/Data/Keys/KeyFile.pem
Para obter mais informações, consulte a seção sobre a seção do host na página ssh_config man.