Essencialmente, você está perguntando como configurar uma pilha LEMP - nginx , php5-fpm e mysql-server .
Aqui está um bom guia sobre como instalar tudo. Essencialmente, apenas execute este comando:
sudo apt-get install nginx nginx-full php5-fpm php5-mysql mysql-server
Isso instala todos os servidores e softwares relevantes. Com uma exceção da sua pergunta inicial.
Eu mentinoed uma exceção. Isso instalará a versão do PHP 5.5.9+dfsg-1ubuntu4.11 . Este é o PHP 5.5.9, não o PHP 5.3.x. Há uma boa razão para isso: PHP 5.3 é um software antigo, obsoleto e com muitos furos de segurança. Não há mais atualizações de segurança e, às vezes, há exploits não corrigidos no software antigo do 5.3. Para esse fim, no entanto, mesmo que a equipe de segurança tente fornecer patches, você deve usar as versões 5.5.xe versões mais atualizadas e atualizadas com mais frequência.
A menos que você tenha uma razão muito específica para ter o PHP 5.3.x, você não deve instalá-lo, e usar 5.5.x ou mais recente (basicamente, o que há nos repositórios para sua versão do Ubuntu).
A resposta sugerida pelo animo é boa para obter a versão mais antiga do PHP, mas com a segunda resposta. O único problema é que você perde o benefício das atualizações de segurança postas em prática pelo Ubuntu Security Team regularmente para o PHP5, desviando dos repositórios e instalando manualmente a versão mais antiga, por razões de segurança você não deve fazer isso.