Enquanto você pode ter o interpretador PHP instalado, o script de configuração provavelmente está procurando pelos arquivos necessários para compilar novos módulos de extensão PHP. Esses arquivos são encontrados no php5-dev pacote. Tente instalar isso?
sudo apt-get install php5-dev