Você está no caminho certo, mas acho que pode se beneficiar da invasão da configuração com aliases para cada usuário em seu ~/.ssh/config
:
Host site1
HostName shell.grid.co.uk
User site1user
IdentityFile ~/.ssh/id_rsa_site1user
Host site2
HostName shell.grid.co.uk
User site2user
IdentityFile ~/.ssh/id_rsa_site2user
Host sitetest
HostName shell.grid.co.uk
User testuser
IdentityFile ~/.ssh/id_rsa_testuser
Desta forma, o seu cliente SSH deve usar apenas uma chave específica para cada usuário. Você poderia simplesmente ssh site1
e sua configuração adicionaria o nome de usuário e a chave privada corretos.