Basta usar o gerenciador de pacotes (yum) para removê-los.
yum erase httpd php
Isso deve se livrar de ambos, você pode querer verificar se há outros pacotes PHP instalados, alguns podem não ser removidos com o pacote principal.
Atualização:
Você pode obter uma lista de todos os pacotes já baixados (eu acho) e então filtrar isso para o PHP, como:
rpm -qa | grep php
Isso lhe daria uma lista de todos os pacotes contendo a palavra PHP
Agora, se você está falando sobre o binário php, acho que seria o pacote php-cli.