Corrija-me se estiver errado - você tem um ALB Listener que escuta HTTP (80) e HTTPS (443) e, em ambos os casos, encaminha a solicitação para o backend por HTTP (80), correto?
Se esse for o caso, o backend vê SERVER_PORT = 80 em ambos os casos, porque é assim que o balanceador de carga fala com ele. Não há HTTPS entre o balanceador de carga e o back-end, portanto, a porta é sempre 80 no que diz respeito ao back-end.
Para fazer isso funcionar, você terá que inspecionar X-Forwarded-Proto
cabeçalho HTTP e usar isso no RewriteCond
assim:
RewriteEngine On
RewriteCond %{HTTP:X-Forwarded-Proto} !https [NC]
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
Espero que ajude:)