Eu resolvi o problema removendo a barra no .htaccess de ^ / robots.txt $ agora:
RewriteRule ^robots\.txt$ /var/www/html/robots-disallow.txt [L]
No vhost conf funcionou com o / no .htaccess uma vez que eu removi o / ele não deu certo porque mas isso resolveu para mim.