Uma instalação padrão do PHP em um servidor UNIX praticamente funciona de fábrica. Grande parte da configuração depende do uso que você deseja do servidor.
Veja o que eu faço:
- Altere
upload_max_filesize
do valor padrão (2M) para algo maior. - Instale e ative os módulos que eu uso com mais frequência:
- php5-gd
- php5-cli
- php5-suhosin
- php5-curl
Mas, novamente: a maior parte da configuração depende do que você usa para o servidor, o que dificulta uma resposta simples a essa pergunta.