Na configuração global, você pode usar:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteRule .* https://%{HTTP_HOST}/%{REQUEST_URI} [R=301,L,QSA]
</IfModule>
Da mesma forma, você pode usar um arquivo .htaccess no primeiro diretório da árvore de diretórios segura:
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteRule .* https://%{HTTP_HOST}/%{REQUEST_URI} [R=301,L,QSA]
</IfModule>
Esse último também pode ser colocado dentro de uma diretiva de diretório na configuração do host global ou virtual.