A idéia seria compilar manualmente várias versões do PHP (./configure, ./make mas não ./make install), e ter a extensão do PHP que você requisitou carregada dentro da sua configuração do VirtualHost.
Dessa forma, você pode adiar o carregamento da biblioteca PHP até que você precise dela, e você pode escolher uma biblioteca PHP diferente para cada VirtualHost.