Primeiro vale a pena verificar se você tem a seguinte linha no seu arquivo conf:
RewriteEngine On
Em seguida, tente o seguinte:
RewriteCond %{HTTP_HOST} ^domain.com$ [NC,OR]
RewriteCond %{HTTP_HOST} ^www.domain.com$
RewriteRule (.*) https://www_domain_com%{REQUEST_URI}
Eu tenho eles mesclados no meu arquivo conf, aqui está a versão combinada:
RewriteEngine On
RewriteCond %{HTTPS} off [NC, OR]
RewriteCond %{HTTP_HOST} !^domain.com [NC, OR]
RewriteCond %{HTTP_HOST} !^www.domain.com [NC]
RewriteRule (.*) https://domain.com%{REQUEST_URI}