dpkg , apt-get et. al., não sei sobre os arquivos no pacote httpd-2.2.22 , então eles não podem se livrar deles.
Volte para o diretório de origem e veja se make uninstall fará o truque. Se não, ou se você não tiver mais a fonte, há uma maneira mais complicada.
Instale o programa installwatch , parte do pacote checkinstall ( sudo apt-get install checkinstall ).
Se necessário, recupere a origem, reconfigure-a da mesma forma que antes e recrie-a. Se você ainda tiver o diretório de origem do qual você instalou, pule esta etapa.
Em seguida, installwatch -o installwatch.log sudo make install gerará uma lista de todos os arquivos que o make install instalou. Estes são os arquivos que você precisa excluir para apagar o manual httpd-2.2.22 install.