A regra correta é a seguinte.
RewriteRule ^/?(.*) https://%{SERVER_NAME}/$1 [R,L]
No entanto, esse não é o método recomendado para redirecionar solicitações HTTP para HTTPS. O método preferido é usar um redirecionamento em seu confi do Apache para apontar para o site SSL ativado.
Você pode saber mais sobre o método preferido em o wiki do Apache Httpd .