Ok, então aqui está o que o problema acabou sendo. Presumi que, se você ativasse o SSL completo (estrito), o CloudFlare sempre se conectaria ao seu site por HTTPS. Obviamente não é assim que funciona. Se você tentar visitar um site usando HTTP, o CloudFlare ainda se conectará ao seu servidor por HTTP.
Tudo o que eu precisava fazer era adicionar uma regra de página em cada domínio para forçar o redirecionamento para HTTPS.
Então não foi nginx, foi só eu ser burro.