Tente usar a sequência de escape %u
, que é expandida para o nome de usuário do usuário atual:
Host foo
HostName foo.com
User specialuser
IdentityFile /Users/%u/.ssh/id_rsa
Host *
User defaultuser
Leia na seção IdentityFile
em man ssh_config
para outras seqüências de escape.