Uma linha Host
pode ter mais de um padrão. E não está realmente escrito na documentação, mas um "!" (exclamação) no início de um padrão significa "se um host corresponde a este padrão, então não aplica a seção". Em outras palavras, você pode fazer isso:
Host * !special1 !special2
IdentityFile etc...
E deve corresponder a qualquer host, exceto "special1" e "special2".
Eu não acho que a ordem dos padrões seja importante. O nome do host que está sendo verificado deve corresponder a um padrão que não seja de exclamação e não deve corresponder a nenhum padrão de exclamação.