O Host no arquivo de configuração é, na verdade, o nome abreviado do qual você deseja identificar o servidor. Você precisa usar o nome do host para identificar por nome de host ou IP. Também você pode limitar a um determinado usuário também
Tente algo como
Host myhost
Hostname a.b.c.d
User myuser
Identityfile my-identity-file
Isso deve usar esse arquivo de chave somente para o nome do host especificado Ele também usará esse usuário se você não especificar um