SetEnv é uma diretiva para mod_env, e mod_env não suporta% {ENV: var} - somente o mod_rewrite faz isso. Não se esqueça de que o apache é modular e os módulos definem suas próprias diretivas. Você pode fazer isso com mod_rewrite assim:
RewriteRule .* - [E=PROJECT_BASE:%{ENV:DOC_ROOT}]
... etc
Devo perguntar: o que você está realmente tentando fazer? Deve haver um caminho melhor. Não consigo pensar em nenhum motivo para definir sua variável LAYOUT_HOME no apache em vez do php.