Se você estiver usando tasksel , você encontrará o php espalhado por toda parte. No entanto, se você está tentando usar o php-cgi, os pacotes do Ubuntu já estão configurados.
sudo apt-get install php5-cgi libapache2-mod-php5
Você pode ativar o apache para usá-lo com:
sudo a2enmod php5-cgi
sudo service apache2 restart
Muito MUITO raramente você precisará copiar arquivos para ter algo empacotado em funcionamento.