A função reqenv
deve ser comparada com alguma coisa, você não pode apenas verificar se a variável de ambiente está configurada ou não como seu código tenta. Admito que a mensagem de erro não é particularmente esclarecedora: -)
O seguinte deve funcionar para você:
SetEnvIf Request_URI ^/(img|js|css|thumb|banner) static=yes
SetEnvIf Remote_Addr "127.0.0.1" dontlog=yes
CustomLog logs/access_log myCustom expr=!(reqenv('static')=='yes'||reqenv('dontlog')=='yes')