O primeiro da minha lista seria escolher uma plataforma que tenha suporte total do distribuidor - não apenas suporte legado (o RHEL4 agora tem cinco anos e meio e está prestes a entrar no modo de suporte 'produção 3').
Em seguida, na minha lista, NÃO ESTARIA INSTALANDO SOFTWARE QUE ANULA A GARANTIA DE SUPORTE.
Então, eu teria um longo e difícil exame do endurecimento do sistema operacional - mas como você só perguntou sobre aplicativos específicos, vou ignorar isso.
Sobre o endurecimento dos 2 serviços .... a muito introdução básica ao endurecimento do Linux da Sans tem 15 páginas - por isso recomendo que procure respostas em outro lugar - uma postagem rápida no SF não fornecerá uma fração das perguntas que você precisa fazer. Existem mais alguns guias aqui .
Dê uma olhada no site suhosin - mesmo se você ficar com as distribuições padrão do PHP, há muito de informações sobre por que a suhosina existe a partir da qual você pode tomar decisões informadas.
Quanto ao mysql - certamente não deve ser voltado para o público. Além do firewall, você deve desativar todo o acesso à rede, se possível, ou movê-lo para um servidor separado, que não pode ser roteado pela Internet.
Similarmente para mod_security