Toda vez que você se adiciona a um grupo, você precisa fazer logout e efetuar login novamente para que as alterações entrem em vigor. A mesma coisa está acontecendo aqui, ao reiniciar o Apache, você permite que ele "efetue login novamente" e esteja no grupo do usuário, o que permite que ele leia e forneça os arquivos do usuário.