Também publiquei esta pergunta no Grupo do Google Phusion Passenger: link
O motivo sugerido para a falha na instalação foi:
Your server probably does not have enough memory to run the compiler. Try increasing your swap space.
Eu segui este guia para adicionar o swapfile no meu servidor: link Repetindo o comando nginx install foi concluído com sucesso.