EDITAR:
A solução real para este problema não é colocar a regra de reescrita do proxy em php-fpm, mas fazer o seguinte:
RewriteCond %{REQUEST_URI} -U
RewriteRule (.*\.php)$ fcgi://IP:PORT/$1 [P,L]
Fora das tags e dentro das tags.
Como a solução original tinha um problema: se houver "RewriteEngine On" ou qualquer regra / condição "RewriteRule", isso fará com que o Apache ignore completamente as regras de reescrita dentro das tags no arquivo de configuração principal.
O abaixo não está totalmente correto
Descobri que estava errado em não trabalhar dentro da tag.
RewriteMap and standard rewrite lookup of the user dirs goes here
<Directory /PATH_TO_WWW/*>
Standard directory conf goes here
RewriteRule ^(.*\.php)$ fcgi://IP_OF_THE_FPM:FPM_PORT/$1 [P,L]
</Directory>
Basicamente, o segredo (para mim, pelo menos) eu precisava colocar regra de reescrita que proxies através de tags de diretório que são para o diretório comum dos usuários com *.
por isso, se eu tiver usuários em / var / www / $ username, a tag do diretório deve ficar assim:
TL; DR: use a regra de reescrita de proxy dentro de tags de diretório para o diretório de usuários comuns.