Parece que a resposta é não. SSLVerifyClient não inclui nenhuma opção para escolher sua configuração por variáveis de ambiente, por exemplo.
No entanto, você pode definir SSLVerifyClient em um host virtual ou contexto de diretório. Portanto, se você configurar o Apache para exibir conteúdo para 10.54.12.34 de um host ou diretório virtual diferente, poderá definir um valor diferente de SSLVerifyClient ali. Por exemplo, usando mod_rewrite em um VirtualHost:
SSLVerifyClient require
RewriteEngine on
RewriteCond %{REMOTE_ADDR} ^10\.54\.12\.34$
RewriteRule ^(.*)$ /path/to/host-specific-dir/$1 [QSA]
<Directory /path/to/host-specific-dir>
SSLVerifyClient optional
</Directory