O problema está claro em sua saída:
[root@wfe1 user1]# ls -al site3
total 8
drwxr-xr-x. 2 nginx nginx 23 Mar 6 06:12 .
drwx------. 5 user1 user1 4096 Mar 6 06:12 ..
-rwxr-xr-x. 1 nginx nginx 6 Mar 6 06:12 index.html
O arquivo e o diretório contido são acessíveis ao nginx, mas as permissões do diretório pai são drwx------
, e isso bloqueará o acesso a esse diretório e a todos os seus filhos.
Você precisa verificar os privilégios de acesso para cada nível de diretório até e incluindo a raiz.