Isso não é válido em sua expressão regular: (*) .
* denota uma repetição do caractere anterior. Como você não tem nenhum personagem no grupo, não há nada para repetir.
Se você alterar (*) para (.*) , a expressão se tornará válida. . denota "cada caractere", então talvez você queira restringir um pouco mais.
Uma expressão para o seu exemplo pode ser:
RewriteRule ^h/(\d+)/w/(\d+)/a/([a-z]+)/src/(.+)$ /gallery/thumb.php?h=$1&w=$2&a=$3&src=$4 [L]
Em que \d indica um dígito e [a-z] de qualquer caractere nesse intervalo. Eu também alterei * para + , que corresponde a "1 ou mais caracteres", em vez de "0 ou mais", que seria o * .