Eu imagino que de alguma forma sua configuração do php5-fpm / nginx esteja com defeito. Existe algum motivo específico para você usar soquetes em vez de TCP / IP?
GET / HTTP/1.1", upstream: "fastcgi://unix:/var/run/php5-fpm.sock
Provavelmente o site carrega muito devagar e o nginx atinge um tempo limite em php-fpm, tente definir fastcgi_param PHP_VALUE "max_execution_time=1000";
Além disso, leia isto: link