Basta compilar a fonte do site php, você não precisa de código-fonte especial ubuntu. Eu literalmente acabei de fazer isso em um Ubuntu 11.04 VPS para verificar se era assim tão fácil. Eu tive que instalar um pacote extra "flex"
wget http://uk.php.net/distributions/php-4.4.9.tar.gz
tar zxf php-4.4.9.tar.gz
cd php-4.4.9/
./configure
make
sudo make install
Eu não fiz o módulo do apache, não olhei para isso. Foi um VPS de 32 bits Eu não posso imaginar que não seria tão fácil em 64 bits.