Você precisa usar um RewriteCond
com %{REMOTE_ADDR}
, possivelmente múltiplo para lidar se tiver o IPv6 ativado ou não. Esta é a configuração básica:
RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteCond %{REMOTE_ADDR} !^127\.0\.0\.1$
RewriteRule .* https://%{HTTP_HOST}%{REQUEST_URI} [R=301,L,QSA]
Aqui está um tutorial sobre o uso do RewriteCond que pode ser de alguma ajuda .