Acho que consegui! Eu acho que às vezes o sistema precisa mudar para um usuário que está dentro do grupo raiz e precisa das libs (talvez system ou nobody?) E assim lib64 e usr / lib64 realmente precisam de pelo menos 050 permissões.
Meu script final para definir permissões é este (testado e funcionando):
#Create vars
u=jailuser
g=users
home=/home/$u
jail=$home/jail
#Set normal home
u=jailuser
g=users
cd $home
find . -type d -exec chown $u:$g {} +
find . -type f -exec chown $u:$g {} +
find . -type d -exec chmod 700 {} +
find . -type f -exec chmod 600 {} +
#Set jail
u=root
g=root
cd $jail
find . -type d -exec chown $u:$g {} +
find . -type f -exec chown $u:$g {} +
find . -type d -exec chmod 511 {} +
find . -type f -exec chmod 100 {} +
#Set lib64
cd $jail/lib64
find . -type f -exec chmod 555 {} +
#Set usr/lib64
cd $jail/usr/lib64
find . -type f -exec chmod 555 {} +
#Set binary
chmod 511 $jail/binary
#Set etc
chmod 544 $jail/etc/passwd
chmod 544 $jail/etc/group
#Set tmp
chmod 777 $jail/tmp
#Set jailed home
u=jailuser
g=users
cd $jail$home
find . -type d -exec chown $u:$g {} +
find . -type f -exec chown $u:$g {} +
find . -type d -exec chmod 700 {} +
find . -type f -exec chmod 600 {} +
cd $home