O que você tem é bem próximo do que tenho em mente. Especificamente, você pode tentar algo assim:
Host spinningatinfinity
HostName something.compute.amazonaws.com
User ubuntu
IdentityFile ~/.ssh/id_rsa
Observe que o nome de usuário padrão para uma imagem do Ubuntu em uma instância do AWS EC2 é ubuntu , portanto, é necessário especificar isso como um argumento para a palavra-chave User , para evitar digitá-la na linha de comando. Além disso, se você usar o AWS para gerar suas chaves SSH, a chave privada será realmente um arquivo .pem , portanto, ajuste IdentityFile de acordo se isso for verdadeiro para você. Agora você pode usar o SSH apenas:
ssh spinningatinfinity