Eu sempre luto com um problema por horas antes de desistir e postar uma pergunta - apenas para resolver meus próprios problemas minutos depois de postar ...
Para os interessados, a solução é não para usar o ProxyPassReverse , mas usar a diretiva Header - você pode mexer com cabeçalhos de saída. Nesse caso, posso capturar o cabeçalho de resposta do local e executar um regex nele para corrigir o protocolo do URL:
ProxyPreserveHost on
RewriteEngine on
RewriteRule ^/app$ /app/ [PT]
ProxyPass /app ajp://localhost:8009/app
Header edit Location ^http(\:\/\/proxy.*)$ https$1
Voila!
Se o apache reclamar, pode ser que os mod_headers ainda não estejam habilitados: a2enmod headers