Você precisa alterar a ordem de autenticação, assim:
auth [success=1 default=ignore] pam_succeed_if.so user = user1
auth [success=ignore default=1] pam_succeed_if.so user = user4
auth sufficient pam_succeed_if.so use_uid user in user2:user3