Você pode fazer isso no script do manipulador definindo a variável PHPRC:
#!/bin/sh
PHPRC="/path/to/custom/php.ini"
export PHPRC
PHP_FCGI_CHILDREN=5
export PHP_FCGI_CHILDREN
PHP_FCGI_MAX_REQUESTS=5000
export PHP_FCGI_MAX_REQUESTS
exec /usr/local/php5/bin/php-cgi
Então você precisa configurar um manipulador diferente por domínio (se você quiser um php.ini diferente)