Não importa qual máquina você criará a chave privada ou csr, contanto que a máquina esteja segura. Eu uso o openssl para criar o csr:
openssl req -new -newkey rsa:2048 -nodes -out csr.pem -keyout privkey.pem
Você só precisa de um certificado assinado de terceiros para o ELB, não das outras instâncias. Você pode usar um certificado autoassinado para as instâncias ou, se estiver satisfeito, pode optar por tornar o tráfego das instâncias para o balanceador de carga http regular. O balanceador de carga funciona independentemente das instâncias, na medida em que o SSL é executado.
Atualização: Há algumas outras coisas que você vai conhecer. Você terá que descriptografar a chave privada:
openssl rsa -in privkey.pem -out decryptedprivkey.pem
Você pode não conseguir usar o recurso de upload de certificado baseado na Web do AWS Console devido ao certificado intermediário da GoDaddy. Para fazer isso eu uso o IAM CLI da Amazon:
iam-servercertupload --aws-credential-file aws-credential.properties -b yourdomain.crt -c gd_bundle.crt -k decryptedprivkey.pem -s yourcertificatename