O Amazon linux usa par de chaves como você faz, mas distribui uma chave privada.
Portanto, se você gerar o usuário no lado do servidor, você deve adicionar, como de costume, a chave pública em /home/your_user/.ssh/authorized_keys e depois distribuir a chave privada para o seu cliente.
Você deve estar ciente das preocupações de segurança como " chaves privadas são chamadas de particulares para uma razão. "