Ao executar chmod 770 /home/mary , tudo o que você fez foi definir a permissão Ler-Escrever-Executar para o grupo Proprietário e Usuário Proprietário da pasta /home/mary (que é mary e marygroup).
Se você quiser acessar a casa de mary como john, você precisa adicionar o usuário john ao grupo marygroup :
$ gpasswd -a john marygroup'
Para que isto tenha efeito, você terá que relogar como usuário john .