Publicando isso apenas no caso de alguém encontrar esse problema com uma configuração de serviços de terminal na AWS por trás de um Elastic Load Balancer.
Nossa resolução foi desativar a terminação SSL no ELB, então, em vez de ter HTTPS - > HTTPS no balanceador de carga, configuramos como TCP - > TCP em 443. Dessa forma, ele está fazendo o descarregamento de SSL em vez de terminação SSL. Também configuramos o SSL bridging no RD Gateway. Precisamos ter o certificado no local como parte dos serviços de terminal de qualquer maneira, então isso funciona para nós.
Espero que isso ajude outras pessoas!