É possível fazer isso usando grupos ou ACL (listas de controle de acesso).
Você pode adicionar vários usuários a um único grupo e, em seguida, aplicar esse grupo como tendo acesso.
Ou, você pode ativar a ACL em seu sistema de arquivos ext4 adicionando acl à lista de opções de montagem para sua partição.
Em seguida, instale o eicel para configurar o acesso.