Que tal incluir esta regra:
RewriteCond %{REQUEST_URI} !^robots.txt$
Isso só deve ser acionado para solicitações que não são para o robots.txt ...
Eu tenho um arquivo .htaccess com uma regra de reconfiguração para obter um redirecionamento de todas as solicitações HTTP para HTTPS.
Mas agora tenho um problema que meu robots.txt não é reconhecido por algum verificador on-line. Se eu remover o redirecionamento do arquivo .htaccess, o robots.txt será reconhecido corretamente.
Talvez eu deva excluir que o robots.txt seja redirecionado para uma conexão HTTPS?
Esta é a parte do .htaccess para redirecionar para HTTPS
RewriteCond %{SERVER_PORT} !^443$
RewriteRule (.*) https://%{HTTP_HOST}/$1 [L]