Você não saiu e disse isso imediatamente, mas deu acesso ao console da AWS a alguém em quem não confia. Esse é o problema que você precisa resolver. O que você fez é equivalente a dar a alguém acesso físico ao seu servidor. Uma vez feito isso, todas as apostas estão desativadas. Fim do jogo.
Então, a primeira coisa que você precisa fazer é revogar o acesso dessa pessoa à sua conta da AWS. Depois de ter feito isso, tudo o que você precisa fazer é proteger sua chave privada (o que já parece que você está fazendo) e as chances de seus servidores serem comprometidos via SSH são essencialmente zero.